ใช้ทำอะไร
VibeVoice-ASR-Streaming เป็นโมเดล ASR หรือโมเดลถอดเสียงพูดให้เป็นข้อความ แบบทำสด ๆ คือฟังเสียงไปด้วย ถอดออกมาเป็นข้อความไปด้วย ไม่ต้องรอจบไฟล์ แถมแยกคนพูดได้ บอกได้ว่าข้อความแต่ละช่วงเป็นคนไหนพูด เอาไปใช้กับงานที่ต้องการข้อความแบบเรียลไทม์พร้อมรู้ว่าใครพูดอะไรได้เลย
ตัวโมเดลรองรับ hotword หรือคำเฉพาะของผู้ใช้ คือเรากำหนดคำที่อยากให้ถอดให้แม่น ๆ ไว้ก่อน แล้วโมเดลจะถอดคำพวกนี้ออกมาตรงขึ้น
สองรุ่นต่างกันยังไง
มีสองเช็กพอยต์ ชื่อรุ่นคือ 1.5B กับ 7B น้ำหนักเป็น BF16 ทั้งคู่ เปิดให้ดาวน์โหลดฟรีใช้ใบอนุญาต MIT แต่บนหน้า Hugging Face ขนาดที่แสดงจริงเป็นราว 3B กับ 9B ตามลำดับ
ข้อจำกัดที่ต้องรู้
- รองรับ 10 ภาษา ได้แก่ จีน อังกฤษ ฝรั่งเศส เยอรมัน อิตาลี ญี่ปุ่น เกาหลี โปรตุเกส รัสเซีย และสเปน ยังไม่มีภาษาไทย
- เสียงยาวได้สูงสุด 8 นาที
- ลำดับข้อมูลยาว 8,192 โทเคน
- ทำงานเป็นช่วงเสียงละ 2.9 วินาที มองล่วงหน้า 0.5 วินาที ส่วนการระบุคนพูดคาดความหน่วงราว 2 วินาที
- ตอนเปิดตัวไม่มี API แบบโฮสต์พร้อมราคาจาก Microsoft และไม่มีผู้ให้บริการบน Hugging Face ต้องดาวน์โหลดมารันเอง