วันนี้ใช้ได้ยังไง
- โหลดน้ำหนักจาก Hugging Face ชื่อ perplexity-ai/pplx-embed-v2-context-9b-preview แล้วรันเอง
- ต้องใช้ transformers 5.4.0 ขึ้นไป และเปิด trust_remote_code
- ใช้ encode กับท่อนเอกสาร และ encode_queries กับคำถาม ห้ามสลับกัน
- ยังไม่มีบน API ของ Perplexity บริษัทบอกว่ากำลังทำอยู่
ราคากับขอบเขต
- ราคา: โหลดฟรี สิทธิ์ MIT
- เวกเตอร์ 2048 มิติ ตัดเหลือ 1024 มิติได้ ออกมาเป็น int8
- config บน Hugging Face ตั้งตำแหน่งสูงสุดไว้ 262,144 โทเคน
เก่งเรื่องอะไร
- หาท่อนคำตอบและท่อนหลักฐานในเอกสารยาว
- บริษัทเคลมนำบน context-bench ของ turbopuffer และ ConTEB
- ที่ 10 อันดับแรก หาคำตอบเจอ 45.5% หาหลักฐานเจอ 40.6% ตามเคลมบริษัท
จุดที่คนปนกันบ่อย
- เป็นรุ่นพรีวิว น้ำหนักและวิธีเรียกอาจเปลี่ยน ห้ามปนเวกเตอร์กับรุ่นเต็ม
- ไม่ใช่ pplx-embed-context-v1 ที่ขายบน API
- ตัวเลขเบนช์เป็นเคลมจากบริษัท ไม่ใช่การทดสอบอิสระของ linknu