NVIDIA เปิดตัว Molt เฟรมเวิร์ก PyTorch-Native สำหรับ Agentic RL
NVIDIA เปิดตัว Molt เฟรมเวิร์กการเรียนรู้เสริมแรงแบบเอเจนต์ขนาดกะทัดรัดที่ออกแบบมาให้ AI อ่านและทำความเข้าใจได้ทั้งหมด
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Molt เป็นเฟรมเวิร์ก Agentic RL แบบ PyTorch-native จากทีม NeMo ของ NVIDIA
- ขนาดโค้ดกะทัดรัดเพียงประมาณ 8,600 บรรทัด เพื่อให้ AI และนักวิจัยเข้าใจได้ง่าย
- ใช้งานร่วมกับ Ray, vLLM และ NVIDIA AutoModel โดยไม่มีการแยกฟอร์กโค้ด
- รองรับการใช้งานผ่าน Apache 2.0 พร้อมสคริปต์ Slurm และคอนเทนเนอร์
ทีม NeMo ของ NVIDIA ได้พัฒนา Molt ขึ้นมาเพื่อแก้ปัญหาต้นทุนโดยเฉพาะ โดยเป็นเฟรมเวิร์กการเรียนรู้เสริมแรงแบบเอเจนต์ (Agentic RL) ที่สร้างขึ้นบน PyTorch พร้อมเป้าหมายการออกแบบที่แตกต่างจากเฟรมเวิร์กทั่วไป คือตัวซอร์สโค้ดต้องมีขนาดกะทัดรัดพอให้นักวิจัยจดจำได้ และช่วยให้ผู้ช่วยเขียนโค้ด AI สามารถอ่านพร้อมทำความเข้าใจได้ทั้งหมด
ขนาดโค้ดของ Molt ตามที่ระบุไว้อยู่ที่ประมาณ 8.6 พันบรรทัด ซึ่งวัดจากการแกะรอยกราฟการนำเข้าจากจุดเริ่มต้น RL ของแต่ละเฟรมเวิร์ก หากเปรียบเทียบกันด้วยวิธีเดียวกันนี้ verl มีโค้ดประมาณ 62,000 บรรทัด, slime มี 25,000 บรรทัด และ OpenRLHF มี 7,200 บรรทัด
แม้ Molt จะปล่อยออกมาภายใต้สัญญาอนุญาต Apache 2.0 พร้อมโค้ดเปิดตัว สคริปต์ Slurm และคอนเทนเนอร์สำเร็จรูป แต่บทความวิจัยระบุชัดเจนว่านี่คือโครงสร้างพื้นฐานด้านการวิจัย ไม่ใช่บริการฝึกอบรมระดับโปรดักชัน โดยฮาร์ดแวร์คือปัจจัยสำคัญ สูตรสำเร็จที่จัดมาให้กำหนดให้ใช้ 2 โหนดที่มี GPU H100 จำนวน 8 ตัว แบ่งเป็น 8 ตัวสำหรับการฝึกอบรม และอีก 8 ตัวสำหรับการรันโมเดล (Rollout)
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
การออกแบบเฟรมเวิร์กให้มีขนาดกะทัดรัดและเข้าใจง่ายถือเป็นก้าวสำคัญในยุคที่โมเดลภาษาขนาดใหญ่และเอเจนต์มีความซับซ้อนสูงขึ้นเรื่อยๆ การที่ AI coding assistant สามารถอ่านและประมวลผลโค้ดทั้งหมดของเฟรมเวิร์กได้ จะช่วยให้นักวิจัยสามารถปรับแต่ง ทดลอง และตรวจหาข้อผิดพลาด (debugging) ได้อย่างรวดเร็วโดยไม่ต้องเสียเวลาทำความเข้าใจโค้ดเบสขนาดมหึมาเหมือนในอดีต
กลุ่มเป้าหมายของ Molt ได้แก่ ห้องปฏิบัติการระดับแนวหน้า สตาร์ทอัพด้าน AI ทุนหนา กลุ่มวิจัย AI ในภาคธุรกิจการเงิน การดูแลสุขภาพ และวิทยาการหุ่นยนต์ ตลอดจนห้องปฏิบัติการทางวิชาการที่มีสิทธิ์เข้าถึงคลัสเตอร์ H100 และ H200 หลายโหนด โดยนำไปประยุกต์ใช้ได้ทั้งเอเจนต์ใช้งานเครื่องมือหลายรอบ (multi-turn tool-use) เอเจนต์รันโค้ด สภาพแวดล้อมวิชันภาษา ลูปให้คะแนน LLM-as-judge และการกลั่นความรู้ออนไลน์
โครงสร้างภายในของ Molt เป็นการผสานการทำงานระหว่าง Ray สำหรับการจัดวางคิวแบบอะซิงโครนัส, vLLM สำหรับการรันโมเดล และ NVIDIA AutoModel ร่วมกับ FSDP2 สำหรับการฝึกอบรม โดยไม่มีการแยกซอร์สโค้ด (fork) ทำให้อัปเดตการพัฒนาจากต้นน้ำได้ผ่านการพินคอนเทนเนอร์
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น