เจาะเบื้องหลัง Fable 5 เล่นโปเกมอนด้วยการมองเห็น: วิเคราะห์หุ่นยนต์ AI และความลับในบันทึก
นักพัฒนาทดลองจำลองระบบเล่นโปเกมอนด้วยวิสัยทัศน์ล้วนของ Anthropic สำเร็จ พร้อมเปิดเผยค่าใช้จ่ายและบันทึกการคิดที่น่าตกใจ
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- นักพัฒนาอิสระจำลองระบบ Fable 5 เล่นเกมโปเกมอนด้วยการมองเห็นหน้าจออย่างเดียวตามที่ Anthropic โฆษณา
- ใช้เวลา 1,785 การตัดสินใจและงบประมาณ 65.40 ดอลลาร์สหรัฐฯ เพื่อคว้าเข็มกลัดแรกสำเร็จ
- การตรวจสอบบันทึกการคิดของโมเดลเผยให้เห็นการจดจำข้อมูลล่วงหน้าก่อนที่ตัวละครจะเจอเหตุการณ์นั้นบนจอ
- เปิดเผยรหัสฮาร์เนส เฟรมภาพ และบันทึกข้อมูลทั้งหมดให้สาธารณชนตรวจสอบได้
หลังจากที่บริษัท Anthropic ได้เผยแพร่หน้าเปิดตัว Fable 5 และอ้างว่าปัญญาประดิษฐ์สามารถเล่นเกม Pokémon FireRed ได้โดยอาศัยเพียงภาพหน้าจอเท่านั้นโดยไม่มีโค้ดหรือคู่มือช่วยเหลือเพิ่มเติม นักพัฒนาอิสระรายหนึ่งจึงตัดสินใจพิสูจน์คำกล่าวนี้ด้วยการสร้างระบบควบคุมจำลองขึ้นมาเอง เพื่อทดสอบว่าความสามารถระดับนี้ทำได้จริงหรือไม่ภายใต้ข้อจำกัดที่เข้มงวดที่สุด
ในการทดลองนี้ โมเดล Fable 5 เล่นเกมเวอร์ชันแปลภาษาจีนของ Pokémon FireRed และสามารถคว้าเข็มกลัดยิมแรกได้ภายใน 1,785 เทิร์น ด้วยต้นทุนรวม 65.40 ดอลลาร์สหรัฐฯ ก่อนที่จะเดินทางไปถึงเส้นทาง Route 3 พร้อมกับพ็อกเก็ตมอนสเตอร์ 3 ตัวในทีมเมื่อถึงขีดจำกัด 2,000 เทิร์น โดยข้อมูลบันทึกทั้งหมดรวมถึงภาพหน้าจอทุกเฟรมถูกเผยแพร่ต่อสาธารณะ
อย่างไรก็ตาม เมื่อเจาะลึกเข้าไปอ่านบันทึกการคิดของโมเดล ผลลัพธ์กลับซับซ้อนกว่าที่เห็น 141 เทิร์นก่อนที่เกมจะมอบไอเทม 'Oak's Parcel' ให้ โมเดลได้บันทึกชื่อเมืองที่ต้องไป บุคคลที่ต้องพูดคุย และไอเทมที่ต้องเก็บไว้ล่วงหน้าเรียบร้อยแล้ว หรือแม้กระทั่งการจดจำตัวละครเทรนเนอร์บน Route 3 พร้อมกับมุกตลกเกี่ยวกับกางเกงขาสั้น ซึ่งไม่มีข้อมูลเหล่านี้ปรากฏอยู่บนหน้าจอเกมเลยแม้แต่น้อย
"A time-lapse of Claude playing Pokémon FireRed from start to finish using only raw game screenshots—with no maps, navigation aids, or extra game-state information. Earlier Claude models needed a complex helper harness to play Pokémon; Claude Fable 5 completed the game with vision alone."
วิดีโอไทม์แลปส์อย่างเป็นทางการของ Anthropic
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
การที่วิชันโมเดลสามารถเล่นเกม RPG ยุคเก่าได้เพียงแค่การมองภาพหน้าจอ ถือเป็นก้าวกระโดดครั้งใหญ่ในวงการปัญญาประดิษฐ์ เนื่องจากในอดีตโมเดลภาษาขนาดใหญ่ (LLM) มักประสบปัญหาในการแยกแยะสิ่งกีดขวางหรือเส้นทางเดินจากพิกเซลภาพบนจอโดยตรง นักพัฒนาจึงมักต้องอาศัยการอ่านข้อมูล RAM ของโปรแกรมจำลอง (Emulator) เพื่อช่วยนำทาง แต่ความสำเร็จของ Fable 5 ในการตัดตัวช่วยเหล่านี้ออกไปสะท้อนถึงขีดความสามารถในการประมวลผลภาพขั้นสูงที่ใกล้เคียงกับมนุษย์มากขึ้น
ก่อนหน้านี้ ผลงานจากเกณฑ์มาตรฐาน VideoGameBench แสดงให้เห็นว่าโมเดลระดับแนวหน้าสามารถเคลียร์เกมได้เพียง 0.48% เท่านั้น ขณะที่การสตรีม Claude Plays Pokémon ในอดีตของ Claude 3.7 Sonnet ต้องพึ่งพาชุดคำสั่งเสริมที่ซับซ้อนและข้อมูลสถานะจากหน่วยความจำ RAM อย่างมหาศาลเพื่อเดินทางไปถึงบริเวณยิมที่สาม การที่ Fable 5 สามารถเล่นผ่านภาพหน้าจออย่างเดียวจึงสร้างความตื่นตัวให้กับชุมชนนักพัฒนาเป็นอย่างมาก
ทั้งนี้ การศึกษาเปรียบเทียบฮาร์เนสโอเพนซอร์กกว่าเกือบสิบโครงการในอุดมสาธารณะพบว่า คำว่า "วิชันอย่างเดียว" มักเป็นเพียงคำโฆษณาทางการตลาด เนื่องจากโครงการส่วนใหญ่ยังคงต้องดึงพิกเซล พิกัดแผนภูมิ และข้อความสถานะจาก RAM มาป้อนให้กับโมเดลทุกเทิร์น การทดลองชิ้นนี้จึงถือเป็นหนึ่งในความพยายามที่บริสุทธิ์ที่สุดในการถอดตัวช่วยออกทีละชั้นเพื่อวัดศักยภาพที่แท้จริงของตัวโมเดลเอง
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น