Thinking Machines เปิดตัว Inkling 2 Small โมเดล MoE
Thinking Machines Lab เปิดตัว Inkling 2 Small โมเดล MoE ขนาด 594 พันล้านพารามิเตอร์ ทำงานบน Tinker และเตรียมเปิดให้ใช้สิทธิ์ Apache 2.0
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Thinking Machines Lab เปิดตัวโมเดลปัญญาประดิษฐ์ Inkling 2 Small
- มีขนาดพารามิเตอร์รวม 594B และพารามิเตอร์ที่ทำงานจริง 17B
- ทำคะแนนบน Artificial Analysis Intelligence Index ได้ 31 คะแนน
- รันบนระบบ Tinker และเตรียมเผยแพร่เวทต์ภายใต้ไลเซนส์ Apache 2.0
บริษัทปัญญาประดิษฐ์ Thinking Machines Lab ได้ประกาศเปิดตัวโมเดลใหม่ล่าสุดในชื่อ Inkling 2 Small ซึ่งสร้างขึ้นด้วยสถาปัตยกรรมแบบ Mixture of Experts (MoE) โดยมีความโดดเด่นด้านขนาดโครงสร้างที่ออกแบบมาเพื่อรองรับการประมวลผลขั้นสูงและการทำงานที่มีประสิทธิภาพยิ่งขึ้นในกลุ่มงานด้านปัญญาประดิษฐ์
โมเดลตัวดังกล่าวมีจำนวนพารามิเตอร์รวมทั้งสิ้น 594 พันล้านพารามิเตอร์ (594B) โดยมีจำนวนพารามิเตอร์ที่ถูกเรียกใช้งานจริงในแต่ละขั้นตอน (active parameters) อยู่ที่ 17 พันล้านพารามิเตอร์ (17B) ซึ่งช่วยให้โมเดลสามารถบริหารจัดการทรัพยากรการประมวลผลได้อย่างมีประสิทธิภาพในขณะที่ยังคงรักษาความสามารถในการประมวลผลข้อมูลเชิงลึกเอาไว้ได้
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในด้านผลการทดสอบประสิทธิภาพ Inkling 2 Small สามารถทำคะแนนได้ 31 คะแนน บนดัชนี Artificial Analysis Intelligence Index ซึ่งสะท้อนถึงขีดความสามารถในการประมวลผลและการตอบสนองต่อชุดข้อมูลทดสอบมาตรฐานที่ใช้ประเมินระบบปัญญาประดิษฐ์ในปัจจุบัน
สถาปัตยกรรมแบบ Mixture of Experts (MoE) เป็นแนวทางที่ได้รับความนิยมเพิ่มขึ้นในกลุ่มผู้พัฒนาโมเดลภาษาขนาดใหญ่ เนื่องจากช่วยให้โมเดลมีขนาดพารามิเตอร์รวมที่ใหญ่มากเพื่อเก็บความรู้ได้กว้างขวาง แต่ในขณะเดียวกันก็เปิดใช้งานพารามิเตอร์เพียงบางส่วน (Active Parameters) ในแต่ละการประมวลผล ทำให้ประหยัดพลังงานและลดเวลาในการตอบสนองลงอย่างเห็นได้ชัดเมื่อเทียบกับโมเดลที่มีขนาดพารามิเตอร์ใช้งานจริงเท่ากันทั้งหมด
นอกจากนี้ ตัวโมเดลยังได้รับการออกแบบให้สามารถรันบนระบบ Tinker ได้อย่างราบรื่น และทางห้องปฏิบัติการยังมีแผนที่จะเปิดเผยน้ำหนักของโมเดล (model weights) ภายใต้สัญญาอนุญาตแบบ Apache 2.0 ในอนาคต ซึ่งจะเปิดโอกาสให้ นักพัฒนาและนักวิจัยสามารถเข้าถึงและนำไปต่อยอดได้อย่างเปิดกว้าง
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น