Mano-CUA 1.1 คว้าแชมป์ WebRetriever ชนะ GPT และ Claude
เอเจนต์เฉพาะทาง Mano-CUA 1.1 ทำคะแนนบน WebRetriever Protocol I ได้ 41.7 เอาชนะ Gemini 2.5 Pro และ Claude 4.5 ในภารกิจกรอกฟอร์มเว็บ
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Mano-CUA 1.1 ทำคะแนน WebRetriever 41.7 เอาชนะ Claude 4.5 ที่ได้ 31.3
- โมเดลใช้แนวทางประมวลผลด้วยภาพล้วน (Vision-driven) ไม่พึ่งพา DOM parser
- รันโมเดล 4B บนเครื่อง Mac ชิป Apple M5 Pro ความเร็ว 80 โทเค็นต่อวินาที
ระบบปัญญาประดิษฐ์ทั่วไป (General-purpose LLMs) มักประสบปัญหาในการควบคุมเบราว์เซอร์อัตโนมัติ โดยผลทดสอบล่าสุดบนเกณฑ์มาตรฐาน WebRetriever Protocol I ซึ่งวัดความสามารถในการท่องเว็บและกรอกฟอร์มจริง ปรากฏว่า Mano-CUA 1.1 ทำคะแนน NavEval ได้สูงถึง 41.7 ขณะที่ Gemini 2.5 Pro Computer Use ทำได้ 40.9 และ Claude 4.5 Computer Use อยู่ที่ 31.3 ส่วนโปรเจกต์ทั้งหมดเปิดให้ศึกษาบน GitHub ที่ github.com/Mininglamp-AI/Mano-P
ช่องว่างคะแนนที่ห่างกันราว 10 คะแนนระหว่าง Mano-CUA และ Claude ไม่ใช่เรื่องบังเอิญ แต่สะท้อนให้เห็นความแตกต่างอย่างชัดเจนในการจัดการกับงานที่ต้องอาศัยการโต้ตอบกับฟอร์มหลายขั้นตอน การเลือกเมนูดรอปดาวน์ และการนำทางผ่านหน้าเว็บที่มีการแบ่งหน้าซ้ำซ้อน โมเดลทั่วไปเก่งเรื่องเหตุผลทางข้อความ แต่การทำงานบนเบราว์เซอร์ต้องอาศัยความเข้าใจด้านเลย์เอาต์เชิงพื้นที่ ปุ่มกดที่ตำแหน่งเปลี่ยนไปหลังการโต้ตอบ และองค์ประกอบ UI ที่แตกต่างกันในแต่ละเว็บไซต์
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
โมเดลทั่วไปมักแก้ไขปัญหาด้วยการแกะโครงสร้าง DOM หรือพึ่งพา accessibility APIs ซึ่งใช้งานได้ดีกับหน้าเว็บเรียบง่าย แต่จะล่มเหลวทันทีบนเว็บแอปพลิเคชันที่มีความซับซ้อน มีการเรนเดอร์แบบไดนามิก หรือใช้จาวาสคริปต์หนักหน่วง ในทางตรงกันข้าม Mano-P เลือกใช้แนวทางประมวลผลผ่านภาพหน้าจอ (Vision-driven) 100% มองภาพเหมือนมนุษย์ ระบุตำแหน่งปุ่มจากพิกเซล และวางแผนการทำงานจากบริบทภาพโดยไม่ต้องพึ่งพา DOM หรือ API hooks แต่อย่างใด
"When the page structure changes but the visual layout stays the same, the vision approach keeps working while the DOM parser breaks."
Mininglamp-AI
การวิเคราะห์เชิงลึก: ข้อจำกัดสำคัญของ LLM ทั่วไปในการทำเว็บออโตเมชันคือการสูญเสียการติดตามสถานะ (State tracking) เมื่อผ่านไป 4-5 ขั้นตอนในฟอร์มที่ซับซ้อน การที่ Mano-CUA ใช้ลูปคิด-ทำ-ตรวจสอบ (Think-act-verify loop) ช่วยให้ระบบตรวจทานได้ทันทีว่าการคลิกแต่ละครั้งสำเร็จหรือไม่ หากฟอร์มปฏิเสธข้อมูล ระบบจะอ่านข้อความแจ้งเตือนจากภาพหน้าจอแล้วปรับแก้การทำงานได้ทันที ซึ่งเป็นกุญแจสำคัญที่ทำให้โมเดลเฉพาะทางเหนือกว่าโมเดลทั่วไป
ข้อได้เปรียบอีกประการคือความสามารถในการรันแบบโลคัลบนเครื่องคอมพิวเตอร์ของผู้ใช้งาน โมเดลควอนไทเซชันขนาด 4B สามารถรันบนฮาร์ดแวร์ Mac ที่ใช้ชิป Apple M5 Pro ด้วยความเร็วถอดรหัสประมาณ 80 โทเค็นต่อวินาที ข้อมูลทั้งหมดจึงปลอดภัยอยู่บนเครื่องโดยไม่ต้องส่งภาพหน้าจอไปยังเซิร์ฟเวอร์ภายนอก หากใช้งานร่วมกับแฟล็ก --local ผ่านคำสั่งในเทอร์มินัล
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น