MirroS เปิดตัว Code-as-World แปลงวิดีโอเป็น MuJoCo
MirroS เปิดตัว GitHub และโมเดล Code-as-World-VL ขนาด 4B และ 9B ที่แปลงวิดีโอจริงให้เป็นโปรแกรมฟิสิกส์ MuJoCo ภายในระบบจำลอง
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- MirroS เปิดตัว GitHub และโมเดล Code-as-World-VL-4B และ 9B ใต้สัญญาอนุญาต Apache 2.0
- ระบบแปลงวิดีโอเป็นชุดข้อมูล Executable World Representation (EWR) ที่รันบนเอ็นจิ้น MuJoCo
- กระบวนการทำงานใช้โครงสร้างการค้นหาแบบ abductive search สูงสุด 5 รอบเพื่อตรวจสอบความถูกต้อง
- ผลทดสอบบน QuantiPhy เผยรุ่น 9B ทำคะแนนได้ 55.4 และรุ่น 27B ทำได้ 58.6
ทีมนักพัฒนา MirroS ได้ปล่อยโค้ดบน GitHub พร้อมกับโมเดลเช็คพอยต์สองขนาด ได้แก่ Code-as-World-VL-4B และ Code-as-World-VL-9B ภายใต้สัญญาอนุญาต Apache 2.0 โดยโมเดลทั้งสองรุ่นได้รับการปรับแต่งต่อมาจาก Qwen3.5-4B และ Qwen3.5-9B และให้บริการในรูปแบบ BF16 safetensors ผ่าน vLLM บนเอ็นด์พอยต์ที่รองรับ OpenAI ที่ /v1 โดยใช้ 16 เฟรมตัวอย่างต่อวิดีโอและตั้งค่า --max-model-len 4608
รายงานทางเทคนิคของ MirroS ระบุว่า โมเดลวิดีโอ การสร้างภาพ 3 มิติ และการทำคำบรรยายภาพ สามารถกู้คืนข้อมูลบางส่วนของฉากได้เท่านั้น แต่ไม่สามารถเข้าถึงกลไกการทำงานภายในของฉากได้ Code-as-World จึงเข้ามาแก้ปัญหานี้ด้วยการแทนที่ฉากด้วยตัวแทนโลกที่สามารถรันโค้ดได้เรียกว่า Executable World Representation หรือ EWR ในรูปของชุดข้อมูลสามตัวแปร p = (C, E, A)
ในซอร์สโค้ดที่เปิดให้ใช้งาน ชุดข้อมูลสามตัวแปรดังกล่าวจะถูกแปลงเป็นไฟล์ scene.json เพื่อนำไปรันบนโปรแกรม MuJoCo โดยมีเอ็นจิ้นให้เลือกสลับใช้งานได้สองรูปแบบ ได้แก่ เอ็นจิ้นสำหรับทำภาพเคลื่อนไหวที่เน้นตำแหน่งแบบคินีมาติก และเอ็นจิ้นฟิสิกส์ที่คำนวณแรงและการสัมผัส
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
เนื่องจากการดึงข้อมูล EWR กลับมาจากวิดีโอถือเป็นปัญหาผกผัน ทางทีมงานจึงออกแบบกระบวนการนี้เป็นการค้นหาแบบ abductive search โดยตัวแทนเอเจนต์จะดำเนินกระบวนการเสนอแนะ สร้าง สร้างโค้ด เรนเดอร์ และตรวจสอบความถูกต้อง เป็นเวลาสูงสุด K = 5 รอบ สำหรับข้อมูลนำเข้าที่เป็นวิดีโอ โมเดล SAM 3 จะทำหน้าที่สร้างหน้ากากวัตถุและติดตามระนาบภาพ VGGT-Omega ประเมินความลึกและเรขาคณิตของกล้อง ส่วน SAM 3D สร้างตาข่ายวัตถุสำหรับแต่ละชิ้น จากนั้นนำผลลัพธ์ที่ได้มาฉายกลับไปยังมุมมองต้นทางเพื่อเปรียบเทียบกับเฟรมคีย์เฟรมในด้านค่า RGB ความลึก หน้ากากวัตถุ และเส้นทางการเคลื่อนที่
"The MirroS technical report argues that video models, 3D reconstruction, and captions each recover part of a scene but none recovers its mechanism."
MirroS Technical Report
กระบวนการฝึกฝนของโมเดลแบ่งออกเป็นสองระยะ โดยระยะที่ 1 เป็นการฝึกอบรมแบบควบคุมดูแล (SFT) บนคู่คำถามคำตอบในพื้นที่ภาพจำนวน 73,335 คู่ที่สร้างจาก RefCOCO, RefCLEF และ GOT-10K ครอบคลุมข้อมูลด้านขอบเขต ตำแหน่ง การกระจัด ความเร็ว และความเร่ง ส่วนระยะที่ 2 ใช้เทคนิค GRPO กับข้อมูลโลกเสมือน 3 มิติที่รวบรวมจากโลกจำลองที่ขับเคลื่อนด้วยข้อความ 1,585 โลก และด้วยวิดีโอ 988 โลก โดยให้รางวัลตามความแม่นยำเชิงตัวเลขที่ปรับขนาดแล้ว รวมถึงเงื่อนไขหน่วยและรูปแบบ ซึ่งการฝึกทั้งหมดใช้หน่วยประมวลผลกราฟิก NVIDIA H100 จำนวน 8 ตัว
การแปลงวิดีโอให้กลายเป็นโปรแกรมจำลองฟิสิกส์ที่สามารถรันได้จริงถือเป็นก้าวสำคัญที่เชื่อมโยงระหว่างคอมพิวเตอร์วิทัศน์และระบบหุ่นยนต์จำลอง ช่วยให้เอเจนต์ปัญญาประดิษฐ์ไม่เพียงแต่มองเห็นภาพ แต่ยังเข้าใจกฎฟิสิกส์ แรงโน้มถ่วง และปฏิสัมพันธ์ทางกายภาพของวัตถุภายในวิดีโอ ซึ่งจะเป็นประโยชน์อย่างยิ่งต่อการพัฒนาหุ่นยนต์และการจำลองสถานการณ์เสมือนจริงในอนาคต
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น