วันนี้ใช้ได้ยังไง
อยากลองก็โหลดน้ำหนักจาก Hugging Face ที่ mncai/Hunmin-397B-A17B-CUA ได้เลย มีทั้งเวอร์ชันปกติกับ FP8 รันเองด้วย vLLM ตามคู่มือบนบัตรโมเดล สิทธิ์ Apache 2.0
ราคา: โหลดฟรี เพราะเปิดน้ำหนักแบบ Apache 2.0 ส่วน API ของบริษัทยังไม่ประกาศราคาต่อโทเคนเป็นตัวเลข
บริบท: 262K โทเคน
จุดที่คนปนกันบ่อย
- เลข 397B คือพารามิเตอร์รวมแบบ MoE ตื่นทำงานจริงราว 17B ต่อครั้ง ไม่ได้แปลว่าต้องโหลดเต็มทุกชั้นทุกครั้งแบบหนาแน่น
- นี่คือโมเดลคอมพิวเตอร์ยูส มองจอแล้วกดเมาส์คีย์บอร์ด ไม่ใช่โมเดลแชทข้อความล้วน
- บริบท 262K โทเคน อ่านจาก max_position_embeddings ใน config ของโมเดลบน Hugging Face ไม่ใช่ตัวเลขที่ GenON เขียนในแถลงข่าว
- ยังไม่มีบริการเมฆพร้อมใช้จาก GenON ในประกาศนี้ ต้องมีเครื่องรันเอง