ไอเดียของรุ่นนี้คือให้เกมเอนจินทำงานแบบเกมปกติ แต่วาดแค่ภาพหยาบ ๆ แบบโลว์โพลี แล้วให้เอไอแปลงภาพหยาบนั้นเป็นภาพสวยแบบสด ๆ ทีละเฟรม ต่างจากโมเดลโลกเสมือนหลายตัวที่ให้เอไอเดาทุกอย่างเองจากพิกเซล ซึ่งพอของหลุดออกนอกจอไปแล้วมักหายไปเลย
ทำงานยังไง
- เกมเอนจินเก็บสถานะของโลก ฟิสิกส์ และกติกาทั้งหมดไว้เอง แล้ววาดภาพโลว์โพลีออกมาทุกเฟรม
- โมเดลวิดีโอที่ถูกย่อให้สร้างภาพได้ใน 1 ถึง 2 ขั้นตอน อ่านภาพหยาบ คำบรรยายฉาก และภาพอ้างอิงอีกไม่กี่ภาพ แล้วสร้างภาพจริงออกมาทีละ 4 เฟรม
- มีเอเจนต์เขียนโค้ดคอยแปลงคำสั่งของผู้เล่นเป็นกติกาใหม่ใส่ลงในเอนจิน และเขียนพรอมต์บอกโมเดลว่าตอนนี้ในเกมเกิดอะไรขึ้น
- เสียงกับหน้าจอแสดงผล (HUD) แยกออกจากโมเดล เอไอเลยไม่ได้ไปยุ่งกับการชนหรือผลแพ้ชนะในเกม
ปล่อยอะไรมาบ้าง
- น้ำหนักโมเดล 3 ฉาก คือ ปราสาทยุคกลาง อียิปต์โบราณ และแข่งรถในเมือง
- แต่ละฉากมีพารามิเตอร์ราว 5 พันล้านตัว (5B) ต่อยอดจาก Wan2.2-Fun-5B-Control ของอาลีบาบา
- มีโค้ดรันโมเดล เดโมเล่นผ่านเบราว์เซอร์ และไฟล์ฉากเกมให้ครบ แต่ไม่ได้ปล่อยโค้ดเทรนกับข้อมูลที่ใช้เทรน
- ใช้ไลเซนส์ Apache-2.0 เอาไปใช้เชิงพาณิชย์ได้ ส่วนเปเปอร์ทีมบอกว่าจะตามมาทีหลัง
เร็วแค่ไหน
- บริษัทบอกว่าเล่นได้ที่ความละเอียด 480p 60 เฟรมต่อวินาที บนการ์ดจอ RTX 5090 ใบเดียว กดปุ่มแล้วภาพตอบสนองในไม่ถึง 150 มิลลิวินาที
- หน้าโปรเจกต์โชว์ตัวเลขโหมดเร็วไว้ราว 83 เฟรมต่อวินาที และกดปุ่มถึงเฟรมแรกที่ตอบสนอง 112 มิลลิวินาที
- แต่โค้ดชุดที่ปล่อยวันนี้ทดสอบบน A100 80GB ส่วนโค้ดที่ปรับให้เร็วบน RTX ซีรีส์ 50 ทีมบอกว่าจะตามมาภายในสัปดาห์นี้
- หน้าโมเดลเองก็เขียนไว้ว่ายังไม่รับประกันเฟรมเรต และไม่รับประกันว่าหน่วยความจำของการ์ดจอเกมทั่วไปจะพอ
สรุป
Matrix-Game เป็นซีรีส์โมเดลโลกเสมือนของ Skywork ที่ออกมาแล้ว 4 รุ่นในเวลาราวปีครึ่ง รุ่นนี้เปลี่ยนแนวจากให้เอไอจำโลกเอง มาให้เกมเอนจินถือกติกา แล้วใช้เอไอเป็นคนวาดภาพอย่างเดียว ข้อดีคือของในเกมไม่หายและกติกาไม่เพี้ยน ข้อจำกัดคือยังเก่งเฉพาะ 3 ฉากที่ให้มา ถ้าหมุนกล้องเร็ว เจอรูปทรงที่ไม่เคยเห็น หรือเล่นนาน ๆ ภาพก็ยังเพี้ยนได้ ใครอยากลองบนการ์ดจอเกม รอโค้ดสำหรับ RTX 50 ออกก่อนน่าจะง่ายกว่า
แหล่ง: Skywork AI (GitHub, Hugging Face และหน้าโปรเจกต์ Matrix-Game 4.0) · TechNode