On-Policy Distillation: กลั่นกรองโมเดลไร้ครู

การทำ on-policy distillation กลายเป็นหนึ่งในวิธีมาตรฐานสำหรับการฝึกฝนโมเดลการให้เหตุผลขนาดเล็ก โดยปกติแล้วโมเดลนักเรียนจะสร้างชุดข้อมูลขึ้นมา ส่วนโมเดลครูขนาดใหญ่จะทำหน้าที่ให้คะแนนความได้เปรียบในแต่ละโทเค็นตลอดเส้นทางเพื่อชี้นำทิศทางของ policy gradient แทนที่จะรอรับฟีดแบ็กแบบเบาบางเฉพาะตอนท้ายสุดแบบ outcome-level reinforcement learning

อย่างไรก็ตาม บทความวิจัยชิ้นใหม่จาก Yi Ding และ Ruqi Zhang สองนักวิจัยจากมหาวิทยาลัย Purdue ได้ทำการตรวจสอบบทบาทที่แท้จริงของโมเดลครูระหว่างกระบวนการฝึกฝน และพบข้อเท็จจริงที่น่าตกใจว่าคำแนะนำจากโมเดลครูนั้นส่วนใหญ่เป็นเพียงสัญญาณรบกวน (noise) เท่านั้น

ยิ่งไปกว่านั้น การขยายขนาดของโมเดลครูให้ใหญ่ขึ้นไม่ได้ช่วยให้สัญญาณสะอาดขึ้นแต่อย่างใด แต่กลับสร้างสัญญาณรบกวนในระดับโทเค็นที่สูงขึ้นด้วยซ้ำ เมื่อนักวิจัยทำการทดลองถอดโมเดลครูออกทั้งหมด แล้วแทนที่คะแนนความได้เปรียบด้วยบทลงโทษเชิงลบอย่างง่ายสำหรับโทเค็นที่มีความน่าจะเป็นต่ำ โมเดลนักเรียนกลับทำคะแนนความแม่นยำได้เท่าเดิมหรือสูงกว่าการมีครูคอยชี้นำเสียอีก

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

จากการวิเคราะห์เชิงลึก ทีมผู้วิจัยพบว่ากระบวนการเรียนรู้ไม่ได้ถ่ายทอดขั้นตอนการให้เหตุผลหรือฮิวริสติกที่ซับซ้อน แต่ฟังก์ชันการสูญเสีย (loss function) ทำหน้าที่เพียงแค่ลงโทษโทเค็นส่วนปลายที่มีโอกาสเกิดขึ้นน้อย (tail tokens) และผลักดันมวลความน่าจะเป็นให้ไปรวมอยู่ที่ตัวเลือกอันดับต้น ๆ เท่านั้น