NVIDIA โชว์ 3 เทคนิคเร่งความเร็ว MoE บน DGX Spark ดัน Ling-3.0-flash แรงขึ้น 42.5%
NVIDIA เผย 3 วิธีเพิ่มความเร็วการประมวลผล MoE บนฮาร์ดแวร์ DGX Spark เดี่ยว ช่วยเร่งความเร็วโมเดล Ling-3.0-flash ของ Ant Group inclusionAI ได้ถึง 42.5%
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- NVIDIA เผยแพร่ 3 เทคนิคซ้อนทับเพื่อเร่งความเร็ว MoE inference บนระบบ DGX Spark
- ทดสอบกับโมเดล Ling-3.0-flash ขนาด 124B ของ Ant Group inclusionAI บนชุดข้อมูล GSM8K
- ผลลัพธ์พบว่าความเร็วการถอดรหัส (decode throughput) เพิ่มขึ้นถึง 42.5%
- การเพิ่มประสิทธิภาพนี้ทำได้โดยไม่มีผลกระทบต่อความแม่นยำของโมเดลแต่อย่างใด
NVIDIA ได้เปิดเผยแนวทางการเพิ่มประสิทธิภาพการประมวลผลแบบผสมผสานผู้เชี่ยวชาญ (Mixture of Experts หรือ MoE inference) บนเซิร์ฟเวอร์ฮาร์ดแวร์ DGX Spark เพียงเครื่องเดียว โดยใช้เทคนิคการปรับแต่งแบบซ้อนทับกันถึง 3 วิธี ซึ่งช่วยให้การทำงานของปัญญาประดิษฐ์มีความรวดเร็วและมีประสิทธิภาพมากยิ่งขึ้นโดยยังคงรักษาความแม่นยำเดิมไว้ได้ครบถ้วน
การทดสอบครั้งนี้จัดทำขึ้นโดยนำไปปรับใช้กับโมเดลภาษาขนาดใหญ่รุ่น Ling-3.0-flash ขนาด 124B พารามิเตอร์ ซึ่งพัฒนาโดย Ant Group inclusionAI ผลปรากฏว่าเมื่อรันผ่านชุดทดสอบการให้เหตุผลทางคณิตศาสตร์ GSM8K อัตราการถอดรหัสข้อความ (decode throughput) ทะยานสูงขึ้นถึง 42.5% เต็มจำนวน
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
การประมวลผลโมเดลขนาดใหญ่ประเภท Mixture of Experts (MoE) มักเผชิญกับคอขวดด้านหน่วยความจำ (Memory Bandwidth Bottleneck) เนื่องจากในแต่ละขั้นตอนการประมวลผล ระบบต้องสลับโหลดข้อมูลของผู้เชี่ยวชาญ (Experts) แตกต่างกันไป การที่ NVIDIA สามารถนำเสนอชุดการปรับแต่งแบบซ้อนทับบนฮาร์ดแวร์ DGX Spark เดี่ยว แล้วรีดประสิทธิภาพออกมาได้เพิ่มขึ้นกว่า 40% โดยที่ความแม่นยำไม่ลดลงเลย สะท้อนถึงความก้าวหน้าที่สำคัญในการจัดการทรัพยากรฮาร์ดแวร์และซอฟต์แวร์ควบคู่กัน ซึ่งมีความสำคัญอย่างยิ่งต่อการลดต้นทุนการรันโมเดล AI ขนาดมหึมาในระดับองค์กร
ทั้งนี้ การอัปเกรดประสิทธิภาพดังกล่าวไม่มีการตรวจพบความคลาดเคลื่อนหรือความแม่นยำที่ลดลงแต่อย่างใด ถือเป็นข่าวดีสำหรับนักพัฒนาและองค์กรที่ใช้งานโมเดลภาษาขนาดใหญ่ที่ต้องการประหยัดทรัพยากรประมวลผลโดยไม่เสียคุณภาพผลลัพธ์
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น