เจาะลึก AllenAI Open Instruct Tulu 3 ด้วยกระบวนการ Post-Training ครบวงจร
สรุปการจำลองระบบ Tulu 3 post-training ขนาดจิ๋ว ตั้งแต่ SFT ไปจนถึง GRPO และ Verifier-Based Evaluation
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- จำลองระบบ Tulu 3 post-training ขนาดจิ๋วเพื่อดูการเปลี่ยนแปลงของโมเดล
- พัฒนาความสามารถในการทำตามคำสั่งผ่าน Supervised Fine-Tuning (SFT)
- ปรับแต่งความชอบของคำตอบด้วย length-normalized DPO
- ใช้ GRPO และ LoRA เพื่อเพิ่มประสิทธิภาพการเรียนรู้เสริมกำลัง
ในบทความเชิงปฏิบัติการนี้ นักวิจัยได้นำเสนอการจำลองระบบ Tulu 3 post-training แบบขนาดย่อส่วน เพื่อศึกษาอย่างละเอียดว่าแต่ละขั้นตอนการฝึกอบรมส่งผลอย่างไรต่อประสิทธิภาพของโมเดลในการแก้โจทย์ปัญหาคณิตศาสตร์ที่ให้คะแนนโดยระบบ verifier การทดลองเริ่มต้นด้วยการสร้าง baseline จากนั้นจึงยกระดับความสามารถในการทำตามคำสั่ง (instruction-following) ผ่านกระบวนการ supervised fine-tuning และปรับปรุงรูปแบบคำตอบด้วย length-normalized DPO
ขั้นตอนนี้ยังรวมถึงการใช้ LoRA เพื่อรักษานโยบายอ้างอิงให้สามารถเข้าถึงได้ง่าย พร้อมทั้งใช้ response masking และ KL regularization ในระหว่างขั้นตอนการเรียนรู้เสริมกำลัง (reinforcement learning) เพื่อเปรียบเทียบความแม่นยำในทุกๆ สตอจของการฝึก และทำการส่งออก merged checkpoint สำหรับนำไปใช้งาน inference หรือ evaluation ต่อไป
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
กระบวนการ Post-Training เช่น SFT, DPO และ GRPO ถือเป็นหัวใจสำคัญในการเปลี่ยนโมเดลภาษาขนาดใหญ่ (LLM) จากโมเดลที่ทำนายคำถัดไปธรรมดา ให้กลายเป็นผู้ช่วย AI ที่ทำตามคำสั่งและให้เหตุผลทางคณิตศาสตร์ได้อย่างแม่นยำ การทดลองจำลองระบบขนาดจิ๋วนี้ช่วยให้ นักพัฒนาและผู้สนใจสามารถเข้าใจและเข้าถึงเทคนิคที่ซับซ้อนเหล่านี้ได้โดยไม่ต้องใช้ทรัพยากรการคำนวณมหาศาล
บทความนี้เขียนโดย Sana Hassan ซึ่งเป็น consulting intern ของ Marktechpost และนักศึกษาหลักสูตร dual-degree จาก IIT Madras ผู้มีความสนใจในการประยุกต์ใช้เทคโนโลยีปัญญาประดิษฐ์เพื่อแก้ปัญหาในโลกแห่งความเป็นจริง
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น