<div class="key-takeaways"><ul><li>พัฒนาไปป์ไลน์การเรียนรู้ความชอบด้วย DPO เต็มรูปแบบ</li><li>ตรวจสอบข้อมูล HH-RLHF เพื่อแก้ปัญหาความอสมมาตรและความลัดสั้นเชิงคำศัพท์</li><li>ใช้ LoRA ช่วยฝึกอบรมโมเดลภาษาอย่างมีประสิทธิภาพ</li><li>ประเมินผลลัพธ์ทั้งในภาพรวมและระดับแหล่งที่มาเพื่อความแม่นยำ</li></ul></div><p>การพัฒนาโมเดลภาษาขนาดใหญ่ในปัจจุบันไม่ได้จำกัดอยู่เพียงการปรับแต่งทั่วไป แต่ต้องอาศัยกระบวนการเรียนรู้ความชอบที่แม่นยำ ทีมงานได้พัฒนาไปป์ไลน์การเรียนรู้ความชอบโดยใช้เทคนิค Direct Preference Optimization (DPO) ซึ่งก้าวข้ามขีดจำกัดของการปรับแต่งแบบเดิมที่ใช้เพียงคำตอบที่เลือกและถูกปฏิเสธ</p><p>ในกระบวนการนี้ นักพัฒนาได้ทำการตรวจสอบชุดข้อมูล Anthropic HH-RLHF อย่างละเอียด เพื่อค้นหาจุดอ่อน เช่น ความอสมมาตรของความยาวคำตอบและทางลัดทางคำศัพท์ พร้อมทั้งกำหนดรูปแบบการสนทนาและจำกัดจำนวนโทเค็นให้มีความสม่ำเสมอ เพื่อให้การฝึกอบรมมีความเสถียรและยืดหยุ่นรองรับเวอร์ชันของ TRL และ Transformers ที่แตกต่างกันได้ <div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/dpo_anthropic_hh_rlhf_mt1fixso_inline_1_2a3ae23854.png" alt="computer programming data graph algorithm" loading="lazy" /><p class="color-gray-500 text-sm mt-10">ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง</p></div></p><div class="ai-insight"><p>เทคนิค Direct Preference Optimization หรือ DPO ถือเป็นวิธีสำคัญในการจัดแนวโมเดลภาษา (Model Alignment) โดยไม่ต้องฝึกโมเดล Reward Model แยกต่างหาก ซึ่งช่วยลดความซับซ้อนในการคำนวณลงอย่างมาก การนำ DPO มาใช้ร่วมกับชุดข้อมูล Anthropic HH-RLHF จึงช่วยให้นักพัฒนาสามารถควบคุมพฤติกรรมของโมเดลให้ออกมาตรงตามความต้องการของมนุษย์ได้ดีขึ้นอย่างมีประสิทธิภาพ</p></div><p>นอกจากนี้ ทีมงานยังได้ประโยนท์จากการประเมินนโยบายที่ปรับแต่งแล้วในสองระดับหลัก ได้แก่ ระดับภาพรวมและระดับแหล่งที่มา ซึ่งช่วยให้สามารถแยกแยะได้อย่างชัดเจนว่า การพัฒนาที่เกิดขึ้นมาจากการเรียนรู้ความชอบจริงๆ หรือเป็นเพียงผลลัพธ์จากทางลัดที่ไม่พึงประสงค์ เช่น การเอียงข้างชอบคำตอบที่มีความยาวมากกว่า</p><p>แนวทางปฏิบัติที่ครอบคลุมนี้ประกอบด้วยขั้นตอนสำคัญดังนี้:</p><ul><li>การตรวจสอบชุดข้อมูลเชิงลึก (Dataset Auditing)</li><li>การวิเคราะห์วินิจฉัยปัญหา (Diagnostic Analysis)</li><li>การฝึกอบรม DPO ประสิทธิภาพสูงด้วย LoRA (Efficient LoRA-based DPO Training)</li><li>การประเมินรางวัลและการทดสอบการสร้างข้อความ (Reward Evaluation and Generation Testing)</li></ul><p>ความพยายามทั้งหมดนี้ได้สร้างกรอบการทำงานที่แข็งแกร่งสำหรับการศึกษาและพัฒนาการจัดแนวความชอบในโมเดลภาษาให้มีความน่าเชื่อถือและใช้งานได้จริงมากยิ่งขึ้น</p><p class="source-attribution">ที่มา: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/08/20/auditing-preference-biases-and-fine-tuning-language-models-with-direct-preference-optimization-on-anthropic-hh-rlhf-using-trl-and-lora/" target="_blank" rel="noopener noreferrer">MarkTechPost</a></p>

<div class="key-takeaways"><ul><li>Developed a complete DPO-based preference-learning pipeline</li><li>Audited HH-RLHF data for length asymmetries and lexical shortcuts</li><li>Leveraged efficient LoRA-based training for language models</li><li>Evaluated tuned policies at aggregate and per-source levels</li></ul></div><p>Advancing large language models requires rigorous preference learning beyond basic fine-tuning on chosen and rejected responses. Researchers have successfully developed a comprehensive preference-learning pipeline utilizing Direct Preference Optimization (DPO) to refine model alignment effectively.</p><p>During this process, the team thoroughly examined the Anthropic HH-RLHF dataset to detect issues such as length asymmetries and lexical shortcuts. They enforced consistent conversational formatting and strict token limits, establishing a flexible training setup compatible with various versions of TRL and Transformers. <div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/dpo_anthropic_hh_rlhf_mt1fixso_inline_1_2a3ae23854.png" alt="computer programming data graph algorithm" loading="lazy" /><p class="color-gray-500 text-sm mt-10">Stock photo for illustration only, not from the actual event</p></div></p><div class="ai-insight"><p>Direct Preference Optimization (DPO) streamlines model alignment by optimizing the language model directly on preference data without needing a separate reward model. Combining DPO with datasets like Anthropic HH-RLHF helps mitigate common biases, such as verbosity bias where models mistakenly favor longer answers over concise ones.</p></div><p>Furthermore, the tuned policy underwent comprehensive evaluation at both aggregate and per-source levels. This critical step ensured that performance gains stemmed from genuine preference learning rather than undesirable shortcuts like favoring lengthier outputs.</p><p>The complete framework incorporates several key phases:</p><ul><li>Dataset auditing for hidden biases</li><li>Diagnostic analysis of model behavior</li><li>Efficient LoRA-based DPO training</li><li>Reward evaluation and generation testing</li></ul><p>By combining these methodologies, the initiative establishes a robust foundational framework for studying and continuously improving preference alignment in advanced language models.</p><p class="source-attribution">Source: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/08/20/auditing-preference-biases-and-fine-tuning-language-models-with-direct-preference-optimization-on-anthropic-hh-rlhf-using-trl-and-lora/" target="_blank" rel="noopener noreferrer">MarkTechPost</a></p>

medium_เจาะลึก-dpo-ปรับแต่งภาษาโมเดลด้วย-anthropic-hh-rlhf-mt1fixso.png

small_เจาะลึก-dpo-ปรับแต่งภาษาโมเดลด้วย-anthropic-hh-rlhf-mt1fixso.png

thumbnail_เจาะลึก-dpo-ปรับแต่งภาษาโมเดลด้วย-anthropic-hh-rlhf-mt1fixso.png

Inewgen

Inewgen

#Direct Preference Optimization

Auditing Language Models with DPO on Anthropic HH-RLHF

Inewgen