Tencent เปิดตัว AngelSpec เฟรมเวิร์กฝึกอบรมแบบครบวงจรสำหรับ Speculative Decoding

การทำงานจริงของการให้บริการโมเดลภาษาขนาดใหญ่นั้นมีความหลากหลายสูง แตกต่างจากชุดข้อมูลมาตรฐานทั่วไปที่มักใช้ผู้ร่าง (drafter) เพียงตัวเดียว เทนเซ็นต์ (Tencent) จึงได้พัฒนาและเปิดโอเพนซอร์ส AngelSpec ซึ่งเป็นเฟรมเวิร์กฝึกอบรมแบบครบวงจรที่ออกแบบมาเพื่อคำนึงถึงความหลากหลายของภาระงานเป็นหลัก โดยมุ่งเน้นการปรับแต่งโครงสร้าง ข้อมูลฝึกอบรม และความลึกในการตรวจสอบให้เหมาะสมกับลักษณะงานแต่ละประเภท

กระบวนการ speculative decoding แบบเดิมจะอาศัยผู้ร่างน้ำหนักเบาในการเสนอโทเค็นล่วงหน้า และให้โมเดลเป้าหมายตรวจสอบความถูกต้องพร้อมกันในขั้นตอนเดียว ความเร็วในการประมวลผลจึงขึ้นอยู่กับจำนวนโทเค็นที่ได้รับการยอมรับและระยะเวลาในแต่ละรอบการทำงาน โดยในบทสนทนาทั่วไปที่มีเอนโทรปีสูง การสร้างโทเค็นยาวๆ อาจไม่เกิดประโยชน์ MTP แบบautoregressive จึงเหมาะสมกว่า ในขณะที่งานด้านโปรแกรมมิ่งและการใช้เหตุผลทางคณิตศาสตร์มักมีรูปแบบที่คาดเดาได้ง่ายกว่า ซึ่งเหมาะกับการร่างแบบ block-parallel มากกว่า

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

AngelSpec จึงเลือกใช้ผู้ร่างสองแบบที่ทำงานเสริมกัน ได้แก่ โมเดล MTP ที่ฝึกด้วยข้อมูลบทสนทนาที่หลากหลาย และโมเดล block-diffusion ที่เสริมด้วยข้อมูลด้านโค้ดและคณิตศาสตร์ พร้อมทั้งแก้ปัญหาความไม่สอดคล้องระหว่างการฝึกและอนุมานด้วยวิธี multi-depth ที่ใช้พารามิเตอร์ร่วมกัน และกำหนดให้มีการ rollout จากโมเดลเป้าหมายที่ถูกแช่แข็งไว้

ผลการวัดประสิทธิภาพระบุว่าที่อุณหภูมิ T = 0 ค่าความยาวเฉลี่ยที่ได้รับการยอมรับเพิ่มขึ้นจาก 2.58 เป็น 2.99 โดยตำแหน่งลึกๆ อย่างการทดสอบ GSM8K และ HumanEval มีอัตราการยอมรับพุ่งสูงขึ้นอย่างชัดเจน นอกจากนี้สถาปัตยกรรม block-diffusion ที่เรียกว่า DFly ซึ่งพัฒนาต่อยอดมาจาก DFlash ยังช่วยดันประสิทธิภาพบน Qwen3-8B และ Hy3-A21B ให้สูงขึ้นไปอีกขั้นผ่านการปรับปรุงชุดข้อมูลเพิ่มเติมกว่า 700,000 พรอมต์

ที่มา: MarkTechPost