LBS-27B คืออะไร
- เป็นโมเดลภาษาที่ดูภาพได้ ขนาด 27B ต่อยอดจาก Qwen3.8-27b
- ชื่อเต็มแปลได้ว่า เรียนรู้ที่จะมองให้ไกลกว่าหน้าจอ
- เป็นผลงานของทีม UI-Venus ในเครือแอนท์กรุ๊ป ที่ทำโมเดลอ่านหน้าจอแอปมาก่อน
- ไฟล์โมเดลขึ้นบนฮักกิ้งเฟซเมื่อเย็นวันที่ 26 ต.ค. 2026 เวลาไทย
- รับบริบทได้ราว 262K โทเคน
เด่นตรงไหน
- ซูมเองเป็น : เวลาได้ภาพใหญ่ ๆ โมเดลจะเลือกตัดเฉพาะส่วนที่น่าสนใจมาดูใกล้ ๆ ตัดซ้ำให้แคบลงอีก หรือย้อนกลับไปดูภาพเต็มก็ได้
- ขอดูได้ทีละสองจุดต่อรอบ และตัดภาพได้รวมไม่เกินสามครั้งต่องาน
- ฝึกจากหน้าจอล้วน : ใช้แต่ข้อมูลสังเคราะห์ที่ให้หาตำแหน่งปุ่มหรือช่องบนหน้าจอ ไม่มีภาพทั่วไปหรือคำถามเกี่ยวกับภาพปนเลย
- ใช้ตัวอย่างสอนราว 1 หมื่นชุด แล้วฝึกต่อด้วยการเสริมแรงอีกแค่ 80 รอบ
- ทีมบอกว่านิสัยการซูมที่ได้จากหน้าจอ เอาไปใช้กับภาพทั่วไปได้เลยโดยไม่ต้องฝึกเพิ่ม
คะแนนเป็นยังไง
- ชุดทดสอบหาตำแหน่งบนหน้าจอโปรแกรมมืออาชีพ ScreenSpot-Pro ได้ 81.15%
- สูงกว่า UI-Venus2-27B รุ่นก่อนของทีมเองที่ได้ 74.1%
- แต่ยังต่ำกว่า Qwen-UI-Agent-27B นิดเดียว ซึ่งได้ 81.5% ในโหมดซูม
- ชุดหาตำแหน่งบนหน้าจอ OS-World-G ได้ 84.57%
- ชุดถามตอบจากภาพ PerceptionBench ได้ 59.67%
- ชุดภาพความละเอียดสูง HR-Bench ได้ 89.13% ที่ 4K และ 87.75% ที่ 8K
- ทุกคะแนนเป็นตัวเลขที่ทีมวัดเองและรายงานเอง
ใช้งานยังไง
- โหลดไฟล์โมเดลได้ฟรีจากฮักกิ้งเฟซ สัญญาอนุญาต Apache 2.0 เอาไปทำธุรกิจได้
- ไฟล์รวมราว 55GB ตัวอย่างของทีมรันผ่าน vLLM บนการ์ดจอ 4 ใบ
- โมเดลจะสั่งตัดภาพออกมาเป็นข้อความ ฝั่งเราต้องเขียนโปรแกรมตัดภาพแล้วส่งกลับไปให้มันดูต่อเอง
- โค้ดและคู่มือวัดผลอยู่บนกิตฮับของทีม
ข้อควรรู้
- ยังไม่มีคนนอกมายืนยันคะแนน
- ตัวเลขของโมเดลอื่นที่เอามาเทียบใช้วิธีรันต่างกัน ทีมเองก็บอกว่าไม่ใช่การเทียบแบบคุมเงื่อนไขเดียวกัน
- คะแนนชุดถามตอบจากภาพใช้ตัวให้คะแนนคนละตัวกับกระดานกลาง เลยยังสรุปไม่ได้ว่าดีกว่าใคร
- โมเดลแค่บอกตำแหน่งบนหน้าจอ ถ้าจะให้กดใช้แอปจริงต้องมีระบบอื่นมาช่วยกด
สรุป
LBS-27B ชี้ว่าการสอนโมเดลให้หาปุ่มบนหน้าจอ อาจเป็นทางลัดสอนให้มันดูภาพทั่วไปละเอียดขึ้นด้วย ใครทำเอเจนต์ใช้คอมพิวเตอร์หรือระบบอ่านภาพใหญ่ ๆ ตัวนี้น่าเอาไปลองต่อยอด
แหล่ง: inclusionAI ในเครือแอนท์กรุ๊ป (หน้าโมเดลบนฮักกิ้งเฟซ และกิตฮับของทีม) · 26 ต.ค. 2026