<div class="key-takeaways"><ul><li>ทีมนักวิจัย Purdue พบว่าการใส่ครูใน on-policy distillation ทำงานเหมือนเสียงรบกวน</li><li>การตัดโมเดลครูออกและใช้บทลงโทษเชิงลบกับโทเค็นความน่าจะเป็นต่ำให้ผลลัพธ์เท่าเดิมหรือดีกว่า</li><li>เสนอวิธี On-Policy Self-Adaptation (OPSA) คำนวณความได้เปรียบเชิงลบจากตัวโมเดลเอง</li><li>ช่วยลดภาระการใช้หน่วยความจำ GPU และการประมวลผลมหาศาลจากการรันโมเดลครู</li></ul></div><p>การทำ on-policy distillation กลายเป็นหนึ่งในวิธีมาตรฐานสำหรับการฝึกฝนโมเดลการให้เหตุผลขนาดเล็ก โดยปกติแล้วโมเดลนักเรียนจะสร้างชุดข้อมูลขึ้นมา ส่วนโมเดลครูขนาดใหญ่จะทำหน้าที่ให้คะแนนความได้เปรียบในแต่ละโทเค็นตลอดเส้นทางเพื่อชี้นำทิศทางของ policy gradient แทนที่จะรอรับฟีดแบ็กแบบเบาบางเฉพาะตอนท้ายสุดแบบ outcome-level reinforcement learning</p><p>อย่างไรก็ตาม บทความวิจัยชิ้นใหม่จาก Yi Ding และ Ruqi Zhang สองนักวิจัยจากมหาวิทยาลัย Purdue ได้ทำการตรวจสอบบทบาทที่แท้จริงของโมเดลครูระหว่างกระบวนการฝึกฝน และพบข้อเท็จจริงที่น่าตกใจว่าคำแนะนำจากโมเดลครูนั้นส่วนใหญ่เป็นเพียงสัญญาณรบกวน (noise) เท่านั้น</p><p>ยิ่งไปกว่านั้น การขยายขนาดของโมเดลครูให้ใหญ่ขึ้นไม่ได้ช่วยให้สัญญาณสะอาดขึ้นแต่อย่างใด แต่กลับสร้างสัญญาณรบกวนในระดับโทเค็นที่สูงขึ้นด้วยซ้ำ เมื่อนักวิจัยทำการทดลองถอดโมเดลครูออกทั้งหมด แล้วแทนที่คะแนนความได้เปรียบด้วยบทลงโทษเชิงลบอย่างง่ายสำหรับโทเค็นที่มีความน่าจะเป็นต่ำ โมเดลนักเรียนกลับทำคะแนนความแม่นยำได้เท่าเดิมหรือสูงกว่าการมีครูคอยชี้นำเสียอีก</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/on_policy_distillation_mtix73f2_inline_1_9fdf4a66b4.png" alt="deep learning neural network diagram data" loading="lazy" /><p class="color-gray-500 text-sm mt-10">ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง</p></div><div class="stat-row"><div class="stat-item"><span class="stat-number">0</span><span class="stat-label">โมเดลครูที่จำเป็นต้องใช้ในการฝึกด้วยวิธี OPSA</span></div></div><p>จากการวิเคราะห์เชิงลึก ทีมผู้วิจัยพบว่ากระบวนการเรียนรู้ไม่ได้ถ่ายทอดขั้นตอนการให้เหตุผลหรือฮิวริสติกที่ซับซ้อน แต่ฟังก์ชันการสูญเสีย (loss function) ทำหน้าที่เพียงแค่ลงโทษโทเค็นส่วนปลายที่มีโอกาสเกิดขึ้นน้อย (tail tokens) และผลักดันมวลความน่าจะเป็นให้ไปรวมอยู่ที่ตัวเลือกอันดับต้น ๆ เท่านั้น</p><blockquote class="pull-quote"><p>"การฝึกฝนเป็นเพียงการลงโทษโทเค็นส่วนปลายและผลักดันความน่าจะเป็นไปสู่ผู้สมัครระดับบนสุด"</p><cite>Yi Ding และ Ruqi Zhang</cite></blockquote><div class="ai-insight"><p>การค้นพบนี้พลิกมุมมองเดิมเกี่ยวกับการถ่ายทอดความรู้ในโมเดลปัญญาประดิษฐ์ เพราะชี้ให้เห็นว่าประโยชน์ที่แท้จริงของการกลั่นกรองแบบนี้ไม่ใช่การเรียนรู้ภูมิปัญญาจากโมเดลที่ใหญ่กว่า แต่เป็นการทำหน้าที่คล้ายตัวควบคุมความ entropy (entropy regularizer) เพื่อลดการสร้างคำตอบเพ้อเจ้อหรือฮัลลูซิเนชันในส่วนท้ายประโยค</p></div><p>เพื่อแก้ปัญหานี้ ทีมผู้วิจัยจึงได้เสนอแนวทางใหม่ในชื่อ On-Policy Self-Adaptation (OPSA) โดยระบบจะคำนวณข้อได้เปรียบเชิงลบที่ปรับตามค่าเอนโทรปีโดยตรงจากตัวแจกแจงของโมเดลนักเรียนเอง ที่ตำแหน่งโทเค็นซึ่งมีความไม่แน่นอนสูง ระบบจะใส่บทลงโทษที่รุนแรงขึ้นกับโทเค็นส่วนปลาย พร้อมทั้งกระจายมวลความน่าจะเป็นไปยังโทเค็นหลักที่เหลืออยู่</p><p>วิธีนี้ช่วยขจัดภาระการดำเนินงานอันมหาศาลจากการต้องรันโมเดลครูขนาดใหญ่ เช่น โมเดล 70B คู่ขนานไปกับโมเดลนักเรียน ซึ่งต้องใช้หน่วยความจำ GPU จำนวนมากและสิ้นเปลืองทรัพยากรในการคำนวณ forward pass สำหรับทุก ๆ โทเค็นที่ถูกสร้างขึ้น</p><p class="source-attribution">ที่มา: <img src="https://www.google.com/s2/favicons?domain=dev.to&sz=64" alt="Dev.to" class="source-logo" width="16" height="16" /> <a href="https://dev.to/reidmarlow/on-policy-distillation-works-better-without-the-teacher-1ac1" target="_blank" rel="noopener noreferrer">Dev.to</a></p>

<div class="key-takeaways"><ul><li>Purdue researchers found that teacher supervision in on-policy distillation mostly acts as noise.</li><li>Removing the teacher and using simple negative penalties on low-probability tokens matches or beats performance.</li><li>Introduced On-Policy Self-Adaptation (OPSA) to calculate entropy-adaptive negative advantages from the student.</li><li>Eliminates massive GPU memory and compute overhead required to host and run large teacher models.</li></ul></div><p>On-policy distillation has emerged as a standard recipe for training small reasoning models, where student models generate text rollouts while a larger teacher model scores every token along the path to guide policy gradients with dense feedback instead of sparse outcome-level rewards.</p><p>However, a new research paper from Purdue University investigators Yi Ding and Ruqi Zhang examined the exact role of the teacher model during training and discovered that teacher supervision is largely composed of noise.</p><p>Surprisingly, scaling up the teacher model did not clean up the signal; instead, larger teacher models exhibited higher token-level noise when scoring reasoning paths. When the researchers ablated the noisy teacher advantages and replaced them with a static negative penalty for low-probability tokens, student models achieved identical or even better benchmark performance.</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/on_policy_distillation_mtix73f2_inline_1_9fdf4a66b4.png" alt="deep learning neural network diagram data" loading="lazy" /><p class="color-gray-500 text-sm mt-10">Stock photo for illustration only, not from the actual event</p></div><div class="stat-row"><div class="stat-item"><span class="stat-number">0</span><span class="stat-label">Teacher models required in the OPSA training loop</span></div></div><p>Deep-dive analyses revealed that the training loop does not transfer complex reasoning steps or heuristics. Instead, the loss function simply penalizes tail tokens and pushes probability mass toward the top candidate tokens.</p><blockquote class="pull-quote"><p>"The training loop was simply using the loss function to penalize tail tokens and push probability mass toward the top candidates."</p><cite>Yi Ding and Ruqi Zhang</cite></blockquote><div class="ai-insight"><p>This finding fundamentally shifts our understanding of model distillation, suggesting that its primary function is acting as an entropy regularizer that prunes tail hallucinations rather than transferring deep teacher knowledge.</p></div><p>To eliminate this unnecessary engineering overhead, the authors introduced On-Policy Self-Adaptation (OPSA). Rather than relying on a secondary scoring model, OPSA computes entropy-adaptive negative advantages directly from the student model's own distribution, applying stronger penalties at high-entropy token branching points.</p><p>Dropping the teacher model removes substantial operational hurdles, saving valuable GPU memory and compute cycles that would otherwise be wasted on teacher forward passes for every generated token during training.</p><p class="source-attribution">Source: <img src="https://www.google.com/s2/favicons?domain=dev.to&sz=64" alt="Dev.to" class="source-logo" width="16" height="16" /> <a href="https://dev.to/reidmarlow/on-policy-distillation-works-better-without-the-teacher-1ac1" target="_blank" rel="noopener noreferrer">Dev.to</a></p>

medium_on-policy-distillation-กลั่นกรองโมเดลไร้ครู-mtix73f2.png

small_on-policy-distillation-กลั่นกรองโมเดลไร้ครู-mtix73f2.png

thumbnail_on-policy-distillation-กลั่นกรองโมเดลไร้ครู-mtix73f2.png

Inewgen

Inewgen

#On-Policy Distillation

On-Policy Distillation Works Better Without the Teacher

Inewgen