Aleph Alpha เปิดตัว Kolibri โมเดล MoE 78.1B รองรับสองภาษา
Aleph Alpha เปิดตัว Kolibri โมเดล Mixture-of-Experts ขนาด 78.1 พันล้านพารามิเตอร์ รองรับภาษาอังกฤษและเยอรมัน พร้อมใช้งานแบบโอเพนซอร์สใต้สัญญา Apache 2.0 บนชิป B200 หรือ H200 ตัวเดียว
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Aleph Alpha เปิดตัว Kolibri โมเดล MoE ขนาด 78.1 พันล้านพารามิเตอร์
- ทำงานด้วยพารามิเตอร์แอคทีฟเพียง 3.46 พันล้านตัวต่อโทเค็น
- รองรับบริบทขนาดยาวถึง 1 ล้านโทเค็น พร้อมความสามารถในการใช้เหตุผลต่อคำขอ
- ใช้สัญญาอนุญาต Apache 2.0 น้ำหนัก FP8 และรันบนชิป B200 หรือ H200 เพียงตัวเดียวได้
บริษัทปัญญาประดิษฐ์ Aleph Alpha ได้สร้างความฮือฮาให้กับวงการเทคโนโลยีอีกครั้งด้วยการประกาศเปิดตัว Kolibri โมเดลภาษาขนาดใหญ่แบบ Mixture-of-Experts (MoE) ที่ถูกออกแบบมาเพื่อรองรับสองภาษาหลัก ได้แก่ ภาษาอังกฤษและภาษาเยอรมันอย่างเต็มรูปแบบ โดยตัวโมเดลมีขนาดพารามิเตอร์รวมทั้งหมดสูงถึง 78.1 พันล้านพารามิเตอร์ ซึ่งช่วยให้มีความสามารถในการประมวลผลข้อมูลที่ซับซ้อนและหลากหลายได้อย่างมีประสิทธิภาพ
จุดเด่นที่สำคัญที่สุดของ Kolibri คือสถาปัตยกรรมภายในที่ได้รับการปรับแต่งมาเป็นอย่างดี ทำให้ในแต่ละการประมวลผลต่อหนึ่งโทเค็น ตัวโมเดลจะทำการเรียกใช้งานพารามิเตอร์จริงหรือ Active Parameters เพียงแค่ 3.46 พันล้านพารามิเตอร์เท่านั้น การออกแบบลักษณะนี้ช่วยลดภาระในการคำนวณลงอย่างมหาศาล ส่งผลให้ความเร็วในการตอบสนองรวดเร็วยิ่งขึ้นโดยที่ยังคงรักษาประสิทธิภาพการทำงานในระดับสูงเอาไว้ได้
นอกจากประสิทธิภาพด้านความเร็วแล้ว Kolibri ยังมาพร้อมกับความสามารถในการรองรับหน้าต่างบริบท (Context Window) ที่กว้างขวางเป็นพิเศษ โดยสามารถรับข้อมูลความยาวสูงสุดถึง 1 ล้านโทเค็นในคราวเดียว พร้อมทั้งมีความสามารถในการปรับระดับความพยายามในการใช้เหตุผล (Per-Request Reasoning Effort) ตามความยากง่ายของงานที่ได้รับมอบหมายในแต่ละคำขออีกด้วย
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
การที่โมเดลขนาดใหญ่เลือกใช้สถาปัตยกรรม Mixture-of-Experts (MoE) และเปิดใช้งานพารามิเตอร์เพียงเสี้ยวเดียวต่อการประมวลผล ถือเป็นแนวทางสำคัญที่ช่วยแก้ปัญหาเรื่องต้นทุนด้านฮาร์ดแวร์และพลังงานที่สูงลิ่วในวงการ AI ยุคปัจจุบัน การที่ Aleph Alpha ออกแบบให้ Kolibri ทำงานบนชิประดับสูงตัวเดียวได้ ยิ่งช่วยให้องค์กรขนาดกลางสามารถเข้าถึงเทคโนโลยีระดับท็อปได้ง่ายขึ้นโดยไม่ต้องลงทุนกับคลัสเตอร์เซิร์ฟเวอร์ขนาดใหญ่
ในด้านของการนำไปใช้งานจริง ทาง Aleph Alpha ได้เผยแพร่น้ำหนักโมเดลในรูปแบบ FP8 ภายใต้สัญญาอนุญาตแบบเปิด Apache 2.0 ซึ่งเปิดกว้างให้นักพัฒนาและองค์กรต่างๆ สามารถนำไปต่อยอด ดัดแปลง หรือใช้งานเชิงพาณิชย์ได้อย่างอิสระ ยิ่งไปกว่านั้น ตัวโมเดลยังถูกออกแบบมาให้สามารถรันบนฮาร์ดแวร์ระดับไฮเอนด์อย่างชิปประมวลผล NVIDIA B200 หรือ H200 เพียงแค่ตัวเดียวเท่านั้น ซึ่งช่วยประหยัดทรัพยากรโครงสร้างพื้นฐานได้อย่างมหาศาล
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น