Yandex ประกาศเปิดกว้างน้ำหนักโมเดลฐาน AliceAI-Foundation-80B-A3B-Base ผ่านบล็อกทางการบน Habr เมื่อวันที่ 21 ก.ย. 2026 โดยไฟล์น้ำหนักถูกอัปโหลดขึ้น Hugging Face ครั้งแรกเมื่อ 12 ก.ย. 2026 ภายใต้ใบอนุญาต Apache 2.0 ให้ทุกคนโหลดได้ฟรี
สเปกจากบริษัท สถาปัตยกรรมเป็น MoE แบบไฮบริด พารามิเตอร์รวม 80B แต่เหนี่ยวนำเพียงราว 3B ต่อโทเคน มีเอกซ์เพิร์ต 512 ตัว เลือกใช้แบบ top-k 10 บวก shared expert อีก 1 ตัว ความลึก 48 เลเยอร์ hidden size 2048 และ vocab 129,024 รองรับบริบทยาว 262,144 โทเคน ตามค่า max_position_embeddings ใน config ภาษาที่รองรับคือรัสเซียและอังกฤษ
จุดเด่นด้านการเทรนคือ Yandex ฝึกโมเดลตั้งแต่ต้นด้วยตัวเองทั้งหมด ไม่ได้เริ่มจากน้ำหนักโมเดลเปิดของเจ้าอื่น ต่างจาก Alice AI LLM เมื่อ ธ.ค. 2025 ที่เริ่มต้นจาก Qwen3-235B-A22B การเทรนแบ่งเป็น 4 เฟสต่อเนื่อง เฟสแรกเป็น general pretrain ราว 17.5T โทเคนที่บริบท 8K จากนั้นขยายบริบทจาก 32K ไปสู่ 256K แล้วปิดท้ายด้วยเฟสเหตุผลและเอเจนต์ที่ลดบริบทลงเหลือ 128K เพื่อคุมต้นทุนการคำนวณ รวมเป็นเรื่องราวการเทรนสเกลราว 18T โทเคนตามที่บริษัทเล่า ส่วนงาน ablation ใช้การรัน scratch สเกล 2T โทเคน
โหลดยังไง ดาวน์โหลดน้ำหนักได้จาก Hugging Face ที่ yandex/AliceAI-Foundation-80B-A3B-Base รองรับการใช้งานผ่าน Transformers และ vLLM โดยต้องเปิด trust_remote_code เพื่อให้ใช้โค้ดที่มาพร้อมโมเดลได้
ข้อควรรู้ ต้องย้ำว่านี่คือโมเดลฐานแบบ pretrained เท่านั้น ไม่ใช่โมเดลแชทหรือ instruct สำเร็จรูป Yandex วางตัวว่าจะใช้เป็นฐานสำหรับโมเดลเหตุผลรวมแบบเดียว (ERM) และเอเจนต์ของ Alice AI ในอนาคต ด้านการวัดผล Yandex เปิดชุดมาตรวัด WikiWebFacts และ HardMultiQA ที่โฟกัสข้อเท็จจริงภาษารัสเซีย พร้อมโปรโตคอลประเมินผลมาให้ด้วย
ตัวเลขเปรียบเทียบที่บริษัทรายงานเอง (ประเมินภายใน รันบน vLLM ที่ t=0) ระบุว่าโมเดลใหม่ชนะ DeepSeek-V4-Flash-Base 284B-A13B และ Nemotron-3-Super-120B-A12B-Base ที่ตัวใหญ่กว่าในหลายงาน และแข็งแรงกว่า Alice AI LLM 235B รุ่นปิดเมื่อ ต.ค. 2025 ด้านข้อเท็จจริง คณิตศาสตร์ โค้ด และบริบทยาว ทั้งที่พารามิเตอร์รวมน้อยกว่าราว 3 เท่า และพารามิเตอร์ที่เหนี่ยวนำน้อยกว่าราว 7 เท่า โดยในชุดเปรียบเทียบยังมี GLM-4.5-Air-Base และ Qwen3.5-35B-A3B-Base อยู่ด้วย ทั้งหมดเป็นผลที่บริษัทรายงานเอง
แหล่งที่มา: Yandex · Habr · 21 ก.ย. 2026