Induction Labs เปิดตัว Photon-1 โมเดลจำลองหน้าจอและฟิสิกส์
Photon-1 โมเดล AI จาก Induction Labs ขับเคลื่อนด้วยระบบ MoE ที่เรียนรู้จากการดูวิดีโอหน้าจอคอมพิวเตอร์นานถึง 18 ปี โดยมีความสามารถจำลองเดสก์ท็อป เล่นหมากฮอส และคำนวณฟิสิกส์บิลเลียดได้
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Photon-1 เป็นโมเดล Mixture-of-Experts ขนาด 106B-A5B ที่เรียนรู้จากการชมวิดีโอหน้าจอคอมพิวเตอร์
- ใช้การเข้ารหัสภาพแบบ Differential Latent Encoder บีบอัดข้อมูลเหลือเพียง 2.2 KB ต่อเฟรม
- เหนือกว่า Gemini 3.1 Flash-Lite ในด้านการใช้งานคอมพิวเตอร์พร้อมต้นทุนที่ถูกกว่าประมาณ 3 เท่า
- ทดสอบความสามารถในการเล่นหมากฮอสและจำลองฟิสิกส์บิลเลียดโดยฝึกฝนจากวิดีโอหน้าจอเท่านั้น
Induction Labs ได้พัฒนาโมเดลปัญญาประดิษฐ์ตัวใหม่ในชื่อ Photon-1 ซึ่งเป็นโมเดลประเภท sparse 106B-A5B mixture-of-experts (MoE) transformer โดยจุดเด่นสำคัญคือการฝึกฝนผ่านวิดีโอการใช้งานคอมพิวเตอร์ที่สะสมมานานถึง 18 ปี จากผลทดสอบภายในของบริษัทพบว่า Photon-1 สามารถทำคะแนนเอาชนะ Gemini 3.1 Flash-Lite ได้ ทั้งที่ใช้ทรัพยากรการฝึกอบรมล่วงหน้า (pretraining compute) น้อยกว่ามาก และมีค่าใช้จ่ายในการให้บริการประหยัดกว่าประมาณ 3 เท่า
หลักการทำงานของโมเดลนี้ใช้สิ่งที่เรียกว่าโมเดลจินตนาการ (imagination model) ซึ่งทำหน้าที่คาดการณ์เฟรมวิดีโอในอนาคตแบบ autoregressive ผ่านเป้าหมาย next-latent-token-prediction โดยในขั้นตอนการฝึกอบรมล่วงหน้า โมเดลจะไม่สร้างพิกเซลภาพออกมาโดยตรง แต่จะจำลองทุกอย่างผ่านพื้นที่ตัวแทนที่ถูกเรียนรู้ขึ้นมา (learned representation space) สิ่งนี้ทำให้โมเดลเข้าใจแนวคิดของการกระทำของมนุษย์ได้โดยไม่ต้องมีป้ายกำกับของการคลิกเมาส์ในแต่ละครั้ง ซึ่งทาง Induction Labs เรียกว่า นโยบายโดยนัย (implicit policy)
โครงสร้างสถาปัตยกรรมของ Photon-1 พึ่งพาตัวเข้ารหัสการมองเห็นที่ใช้เทคนิค finite scalar quantization (FSQ) โดยแต่ละเฟรมจะถูกบีบอัดเป็น 960 โทเค็นแบบไม่ต่อเนื่อง แต่ละโทเค็นคือเวกเตอร์ 8 มิติที่ประกอบด้วยค่า 5 ระดับ ได้แก่ -1, -1/2, 0, 1/2 และ 1 ส่งผลให้เกิดโค้ดบุ๊กที่มีความเป็นไปได้ถึง 5 ยกกำลัง 8 รูปแบบ การเข้ารหัสลักษณะนี้ทำให้ได้ขนาดข้อมูลประมาณ 2.2 KB ต่อเฟรม ซึ่งทาง Induction Labs ระบุว่าให้ประสิทธิภาพการบีบอัดที่ดีกว่าระบบ OCR และโมเดลmultimodal แบบเดิมถึงกว่า 100 เท่า พร้อมทั้งยังคงรักษาข้อความ เลย์เอาต์ และการเปลี่ยนแปลงสถานะไว้ได้อย่างครบถ้วน
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในด้านกระบวนการจัดการข้อมูลเริ่มต้น ทีมวิจัยได้คัดกรองจากดัชนีภายในซึ่งรวบรวมวิดีโอสาธารณะไว้ 2,000 ล้านรายการ จนเหลือวิดีโอบันทึกหน้าจอคอมพิวเตอร์ประมาณ 2 ล้านรายการ และใช้โมเดลตรวจจับคีย์เฟรมภายในเพื่อคัดกรองเฟรมที่ซ้ำซ้อนออก จนได้ชุดข้อมูลสุดท้ายจำนวน 575 ล้านเฟรมที่สุ่มตัวอย่างที่อัตรา 1 เฟรมต่อวินาที ซึ่งคิดเป็น 552,000 ล้านโทเค็น หรือเทียบเท่ากับวิดีโอยาว 18 ปี โดย Photon-1 ผ่านการฝึกอบรมล่วงหน้าจากศูนย์เป็นเวลา 1 รอบ (single epoch) การฝึกโมเดลขนาด 106B-A5B ที่บริบท 32K ใช้เวลาประมาณ 30,000 ชั่วโมงบน GPU H200 หรือคิดเป็น 4.4 คูณ 10 ยกกำลัง 22 FLOPs
"การทำนายสถานะในอนาคตช่วยสอนให้โมเดลทำภารกิจต่างๆ สำเร็จ แม้ว่ามันจะไม่เคยเห็นการกระทำใดๆ เลยในระหว่างการฝึกอบรมล่วงหน้า"
Induction Labs
การที่ Photon-1 สามารถเรียนรู้ทักษะที่ซับซ้อน เช่น การจำลองฟิสิกส์บิลเลียดหรือการเล่นหมากฮอส ทั้งที่ข้อมูลเริ่มต้นมีเพียงวิดีโอการใช้งานหน้าจอคอมพิวเตอร์ทั่วไป ถือเป็นก้าวสำคัญที่แสดงให้เห็นว่าโมเดล AI สามารถสกัดกฎเกณฑ์ทางกายภาพและตรรกะของเกมจากภาพวิดีโอหน้าจอได้โดยตรงผ่านเทคนิคการคาดการณ์เฟรมล่วงหน้า ซึ่งลดข้อจำกัดในการต้องใช้ชุดข้อมูลเฉพาะทางขนาดใหญ่ในอดีต
สำหรับการทดสอบความสามารถด้านการจำลองโลก Photon-1 ได้ถูกนำไปเทียบกับโมเดลพื้นฐานสองตัว ได้แก่ โมเดลวิชันอินโคเดอร์ที่มีสถาปัตยกรรมขนาดเท่ากันแต่ไม่มีการฝึกอบรมล่วงหน้าแบบจินตนาการ และโมเดลภาษาขนาดใหญ่ (LLM) อย่าง Ling-flash-2.0 จาก Inclusion AI ผลปรากฏว่าในการแข่งขันหมากฮอส 20,000 เกมจาก Open Checkers Archive 2.0 และการจำลองบิลเลียด 10,000 เกม Photon-1 ทำผลงานได้เหนือกว่าโมเดลพื้นฐานทั้งสองในด้านการจำลองโลกและคุณภาพการเดินเกม นอกจากนี้ยังมีต้นทุนการดำเนินงานที่คุ้มค่า โดยมีจุดคุ้มทุนบนฮาร์ดแวร์ของ Induction Labs อยู่ที่ 0.06 ดอลลาร์ต่ออินพุตโทเค็น 1 ล้านโทเค็น และ 0.60 ดอลลาร์ต่อเอาต์พุตโทเค็น 1 ล้านโทเค็น
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น