Baidu ปล่อย ERNIE 5.5 Flash Base โมเดล MoE 280B
Baidu เปิดตัว ERNIE 5.5 Flash Base โมเดลพื้นฐาน MoE ขนาด 280 หมื่นล้านพารามิเตอร์ ใช้พารามิเตอร์ทำงานจริง 14 พันล้าน เทรนด้วยข้อมูล 33.5T โทเค็น
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Baidu เปิดตัวโมเดลพื้นฐานรุ่นใหม่ ERNIE 5.5 Flash Base
- เป็นโมเดลสถาปัตยกรรม MoE ขนาดใหญ่รวม 280 พันล้านพารามิเตอร์
- ใช้งานจริงเพียง 14 พันล้านพารามิเตอร์ต่อครั้ง
- ผ่านการฝึกฝนด้วยชุดข้อมูลมหาศาลถึง 33.5 ล้านล้านโทเค็น
บริษัทเทคโนโลยียักษ์ใหญ่ Baidu ได้สร้างความเคลื่อนไหวครั้งสำคัญในวงการปัญญาประดิษฐ์ด้วยการประกาศเปิดตัว ERNIE 5.5 Flash Base ซึ่งเป็นโมเดลภาษาขนาดใหญ่รุ่นล่าสุดที่ถูกพัฒนาขึ้นบนสถาปัตยกรรม Mixture of Experts (MoE) โดยมุ่งเน้นไปที่ประสิทธิภาพความเร็วและการประมวลผลที่มีความคล่องตัวสูง
สำหรับโมเดลรุ่นใหม่ตัวนี้มีความโดดเด่นด้วยขนาดพารามิเตอร์รวมทั้งหมด 280 พันล้านพารามิเตอร์ (280B) แต่ออกแบบมาให้ใช้พารามิเตอร์ในการประมวลผลจริงเพียง 14 พันล้านพารามิเตอร์ (14B Active Parameters) ต่อหนึ่งการทำงาน ซึ่งช่วยลดภาระการประมวลผลลงได้อย่างมหาศาลในขณะที่ยังคงรักษาประสิทธิภาพระดับสูงไว้ได้
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในด้านกระบวนการฝึกฝน ข้อมูลที่นำมาใช้ป้อนให้กับ ERNIE 5.5 Flash Base นั้นมีปริมาณสูงถึง 33.5 ล้านล้านโทเค็น (33.5T Tokens) ซึ่งถือเป็นชุดข้อมูลขนาดใหญ่ที่ช่วยให้โมเดลมีความเข้าใจภาษาและบริบทต่างๆ อย่างลึกซึ้งก่อนที่จะก้าวเข้าสู่ขั้นตอนการปรับแต่งโมเดลในระดับกลางหรือหลังการฝึกฝน (Mid- or Post-Training)
การเปิดตัวโมเดลแบบ Base โดยยังไม่ผ่านการปรับแต่งขั้นสูง (Post-Training) สะท้อนให้เห็นว่า Baidu ต้องการให้นักพัฒนาและชุมชน AI นำโมเดลตัวนี้ไปต่อยอดและปรับจูน (Fine-tune) ให้เข้ากับUse Case เฉพาะด้านของตนเอง การใช้สถาปัตยกรรมแบบ MoE ร่วมกับพารามิเตอร์แอคทีฟที่ต่ำกว่าขนาดรวมมาก ช่วยให้การรันโมเดลประหยัดทรัพยากรฮาร์ดแวร์ลงอย่างมาก เหมาะสำหรับงานที่ต้องการความเร็วสูงแบบ Real-time
การเผยแพร่โมเดลพื้นฐานในลักษณะนี้เปิดโอกาสให้ทีมนักวิจัยและนักพัฒนาภายนอกสามารถเข้าถึงโครงสร้างพื้นฐานที่มีความแข็งแกร่ง เพื่อนำไปพัฒนาต่อยอดเป็นแอปพลิเคชันปัญญาประดิษฐ์ที่ตอบโจทย์ภาคธุรกิจและผู้ใช้งานทั่วไปได้อย่างมีประสิทธิภาพยิ่งขึ้นในอนาคต
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น