Perplexity และ NVIDIA เปิดตัว JOLT ฝึก AI ด้วยวิธีใหม่
Perplexity และ NVIDIA พัฒนา JOLT วิธีการฝึกหลังการอบรมที่ให้โมเดลทำหน้าที่ทั้งครูและนักเรียน พร้อมทำคะแนนบน MATH เทียบเท่า GRPO
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Perplexity และ NVIDIA ร่วมกันพัฒนา JOLT วิธีการฝึก AI แบบใหม่
- โมเดลชิ้นเดียวทำหน้าที่เป็นทั้งครูและนักเรียนในเวลาเดียวกัน
- ทำความแม่นยำบนชุดข้อมูล MATH เทียบเท่า GRPO ได้สำเร็จ
- ใช้โทเค็นในการฝึกน้อยกว่าเดิมถึง 6.5 เท่า
ทีมนักวิจัยจาก Perplexity และ NVIDIA ได้ร่วมกันพัฒนาวิธีการฝึก AI รูปแบบใหม่ในขั้นตอนหลังการอบรม (post-training) โดยมีชื่อเรียกว่า JOLT ซึ่งเน้นการเพิ่มประสิทธิภาพการเรียนรู้ของโมเดลภาษาขนาดใหญ่ให้ดียิ่งขึ้นกว่าเดิม
แนวคิดหลักของ JOLT คือการผสานบทบาทของครู (teacher) และนักเรียน (student) เข้าไว้ด้วยกันในโมเดลเดียวกัน แทนที่จะต้องแยกโมเดลครูและโมเดลนักเรียนออกจากกันเหมือนวิธีทั่วไปในอดีต ทำให้กระบวนการเรียนรู้แบบเสริมแรง (reinforcement learning) มีความคล่องตัวสูงขึ้นอย่างเห็นได้ชัด
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
จากการทดสอบประสิทธิภาพบนชุดข้อมูลโจทย์คณิตศาสตร์ MATH พบว่า JOLT สามารถทำความแม่นยำได้ในระดับที่เทียบเท่ากับวิธี GRPO แต่ใช้ทรัพยากรน้อยกว่าอย่างมหาศาล
จุดเด่นสำคัญคือ JOLT สามารถบรรลุผลลัพธ์ดังกล่าวโดยใช้โทเค็นสำหรับการฝึกอบรม (training tokens) น้อยกว่า GRPO ถึง 6.5 เท่า ซึ่งช่วยประหยัดเวลาและพลังงานในการประมวลผลได้อย่างมีนัยสำคัญ
การพัฒนาวิธีการฝึกแบบ JOLT สะท้อนให้เห็นถึงความพยายามของอุตสาหกรรม AI ในการลดต้นทุนและเพิ่มความเร็วในการพัฒนาโมเดลขั้นสูง การที่โมเดลสามารถสอนตัวเองและเรียนรู้ไปพร้อมกันได้ช่วยลดความซับซ้อนของโครงสร้างสถาปัตยกรรม และอาจกลายเป็นมาตรฐานใหม่สำหรับการฝึก AI ในอนาคต
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น