Hy4 พรีวิวคืออะไร
โมเดลจากทีม Hy ของเทนเซ็นต์ครับ รอบนี้เปิดน้ำหนักให้ทุกคนดึงไปเล่นได้เลย ใช้สิทธิ์ Apache 2.0 เชิญเอาไปต่อยอดได้ไม่ติดขัด แต่ย้ำก่อนว่าเป็นเวอร์ชันพรีวิวนะครับ ยังไม่ใช่ GA
สเปกโดยรวม
- น้ำหนักรวม 770B ตื่นทำงานจริงราว 49B แบบ MoE ตัวเลขดูใหญ่แต่ความเร็วยังไหลลื่นดี
- บริบทยาวถึง 1 ล้านโทเคน เอาไปทำงานเอกสารยาว ๆ โค้ดทั้งรีโป สบายมาก
- มี FP8 ให้เลือก ช่วยลดขนาดและประหยัดหน่วยความจำได้ดีทีเดียว
- รองรับ vLLM และ SGLang ขึ้นบนเครื่องได้ทั้งสองตัว
โหลดยังไง
ดึงน้ำหนักได้จาก Hugging Face กับ ModelScope ครับ ในคลังเราถือเป็นโหลดฟรีไม่มีค่าใช้จ่าย จากนั้นโหลดมาลงเครื่องตัวเองแล้วเปิดใช้กับ vLLM หรือ SGLang ได้เลย แนะนำให้เช็ก VRAM ในเครื่องก่อนนะครับ เพราะตัวนี้ต้องการฮาร์ดแวร์ค่อนข้างแรง
เรื่องราคา
ตัวน้ำหนักโหลดฟรีในคลังครับ ส่วนราคา API ทางเทนเซ็นต์ยังไม่ประกาศ เดี๋ยวเราอัปเดตให้ฟังทันทีที่มีข้อมูลแน่นอน