FLUX 3 Action เปิดตัวโมเดลหุ่นยนต์ 7B เอาชนะ RoboLab
Black Forest Labs ปล่อย FLUX 3 Action โมเดลหุ่นยนต์ 7B แบบ open-weights ทำคะแนนบน RoboLab-120 สูง 42.92% พร้อมความเร็วกว่าคู่แข่ง
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Black Forest Labs เปิดตัว FLUX 3 Action โมเดลหุ่นยนต์ 7B แบบ open-weights
- ทำคะแนนสูงสุด 42.92% บนเกณฑ์ประเมิน RoboLab-120 เอาชนะคู่แข่งได้สำเร็จ
- รองรับการใช้งานฮาร์ดแวร์หลากหลายตั้งแต่การ์ดจอเกมมิ่งจนถึงระดับดาต้าเซ็นเตอร์
- เปิดให้นักพัฒนาสามารถนำไปปรับแต่ง fine-tune กับหุ่นยนต์ของตนเองได้
Black Forest Labs หรือ BFL ได้ประกาศเปิดตัว FLUX 3 Action ซึ่งเป็นโมเดลหุ่นยนต์แบบ open-weights ขนาด 7 พันล้านพารามิเตอร์ (7B) โดยโมเดลนี้ถูกพัฒนาขึ้นเพื่อแก้ไขปัญหาข้อจำกัดของนโยบายหุ่นยนต์แบบเปิดรุ่นก่อนๆ ที่มักจะต้องเลือกระหว่างความแม่นยำและความเร็วในการประมวลผล
โมเดลใหม่นี้ถูกพัฒนาต่อยอดมาจากโครงสร้างพื้นฐานมัลติมีเดีย FLUX 3 โดยกระบวนการฝึกอบรม (pretraining) ใช้ข้อมูลภาพ วิดีโอ และเสียง ซึ่งวิดีโอคิดเป็นสัดส่วนมากกว่า 95% ของโทเค็นทั้งหมด ก่อนจะนำมาผสมผสานกับข้อมูลการกระทำในช่วง midtraining เพื่อให้โมเดลสามารถทำนายทั้งวิดีโอข้อต่อและการกระทำของหุ่นยนต์ไปพร้อมๆ กันได้
ในการทดสอบบนเกณฑ์ประเมิน RoboLab-120 ซึ่งประกอบด้วย 120 งานบนโต๊ะจำลองใน Isaac Sim FLUX 3 Action ทำคะแนนเฉลี่ยจากการทดสอบแบบ guidance-distilled checkpoint ได้ที่ 42.92% ซึ่งสูงกว่าโมเดลชั้นนำอย่าง Cosmos 3 Nano ถึง 6.1 จุดเปอร์เซ็นต์ ทั้งที่มีจำนวนพารามิเตอร์น้อยกว่าถึง 56%
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
นอกจากนี้ ผลการทดสอบบนฮาร์ดแวร์จริงโดย Positronic Robotics ซึ่งใช้แขนกล Franka ทำการทดลอง 30 ครั้ง ปรากฏว่า FLUX 3 Action สามารถทำภารกิจสำเร็จไปได้ถึง 28 ครั้ง หรือคิดเป็น 93.3% เหนือกว่าโมเดลอื่นๆ เช่น Cosmos 3 Nano ที่ทำได้ 27 ครั้ง และ π0.5 ที่ทำได้ 13 ครั้ง
"FLUX 3 Action keeps joint video and action prediction. BFL closes the speed gap with a smaller backbone and distillation instead."
Black Forest Labs
การพัฒนาโมเดล World Action Models (WAMs) ในปัจจุบันเผชิญกับความท้าทายด้านต้นทุนการประมวลผลวิดีโอที่สูงมาก แนวทางของ BFL ที่เลือกใช้โครงสร้างขนาดเล็กและการกลั่นองค์ความรู้ (distillation) ถือเป็นก้าวสำคัญในการแก้ปัญหาคอขวดด้านความเร็ว ทำให้หุ่นยนต์สามารถตอบสนองต่อสภาพแวดล้อมจริงได้รวดเร็วขึ้นโดยสูญเสียความแม่นยำน้อยที่สุด ซึ่งเป็นหัวใจสำคัญของการนำ AI ไปใช้งานในภาคอุตสาหกรรมจริง
ในด้านความต้องการของระบบ โครงการนี้ระบุว่านโยบาย DROID ต้องการหน่วยความจำ GPU ประมาณ 32 GB ในรูปแบบ BF16 บนการ์ด H200 หรือสามารถปรับลดลงเหลือ 24 GB ด้วยการทำ FP8 quantization และการถ่ายโอน text encoder โดยทาง BFL อนุญาตให้ใช้งานภายใต้ FLUX Kommunity License สำหรับวัตถุประสงค์ที่ไม่ใช่เชิงพาณิชย์
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น