Prime Mega MoE เปิดตัว: เคอร์เนล MoE พร้อมเทรน
Prime Intellect ปล่อย Prime Mega MoE เคอร์เนล Fused Mega MoE ที่รองรับ backward pass ทำให้ฝึกโมเดลได้เร็วขึ้น 3.11 เท่า
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Prime Intellect เปิดตัว Prime Mega MoE เคอร์เนล Fused Mega MoE ที่รองรับ backward pass
- ทำให้เคอร์เนลสามารถฝึกฝน (trainable) และเร่งความเร็ว forward pass ได้ถึง 3.11 เท่า
- ช่วยเพิ่มความเร็วในการฝึกขั้นตอน Qwen3 MoE ใน prime-rl สูงสุดถึง 34%
- ยกระดับประสิทธิภาพการประมวลผลสำหรับโมเดล Mixture of Experts
วงการปัญญาประดิษฐ์ก้าวไปอีกขั้นเมื่อ Prime Intellect ประกาศเปิดตัว Prime Mega MoE ซึ่งเป็นระบบ backward pass สำหรับเคอร์เนล Fused Mega MoE ของ DeepSeek โดยการพัฒนาครั้งนี้มุ่งเน้นไปที่การปลดล็อกข้อจำกัดเดิมเพื่อให้เคอร์เนลมีความสามารถในการฝึกฝน (trainable) ได้อย่างเต็มรูปแบบ พร้อมทั้งสร้างสถิติความเร็วในการประมวลผลไปข้างหน้า (forward pass) ที่ก้าวกระโดดถึง 3.11 เท่าเมื่อเทียบกับระบบทั่วไป
การอัปเดตครั้งสำคัญนี้ไม่ได้เพิ่มเพียงแค่ความเร็วในการประมวลผลแบบทางเดียวเท่านั้น แต่ยังส่งผลดีอย่างยิ่งต่อกระบวนการฝึกโมเดลขนาดใหญ่ โดยรายงานระบุว่าระบบใหม่นี้ช่วยเร่งความเร็วในขั้นตอนการฝึก Qwen3 MoE ภายในแพลตฟอร์ม prime-rl ให้สูงขึ้นได้ถึง 34% ซึ่งช่วยลดระยะเวลาและทรัพยากรที่ต้องใช้ในการพัฒนาโมเดล AI ลงได้อย่างมหาศาล
เคอร์เนลประเภท Fused MoE (Mixture of Experts) ถือเป็นหัวใจสำคัญในการลดคอขวดของการรับส่งข้อมูลระหว่างหน่วยความจำและหน่วยประมวลผลในสถาปัตยกรรม AI สมัยใหม่ การที่ Prime Intellect สามารถพัฒนาให้เคอร์เนลนี้รองรับ backward pass และฝึกฝนได้ ถือเป็นก้าวสำคัญที่ช่วยให้นักวิจัยสามารถปรับแต่งโมเดลซับซ้อนได้อย่างมีประสิทธิภาพสูงขึ้น
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
เทคโนโลยีนี้สะท้อนให้เห็นถึงความพยายามอย่างต่อเนื่องของนักพัฒนาในการรีดประสิทธิภาพฮาร์ดแวร์ออกมาให้ได้มากที่สุด ผ่านการปรับแต่งซอฟต์แวร์ระดับล่างและการผสานรวมการทำงานของเคอร์เนลเข้าด้วยกัน ซึ่งจะช่วยให้การสร้างสรรค์โมเดลภาษาขนาดใหญ่ในอนาคตมีความคล่องตัวยิ่งขึ้น
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น