JetBrains เปิดตัว Mellum2.1 โมเดล MoE 12B สำหรับซอฟต์แวร์
JetBrains เปิดตัว Mellum2.1 โมเดลโอเพนซอร์ส Mixture-of-Experts ขนาด 12B พร้อมพารามิเตอร์ทำงาน 2.5B ภายใต้สัญญาอนุญาต Apache 2.0
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- JetBrains เปิดตัว Mellum2.1 โมเดลโอเพนซอร์สขนาด 12B
- ใช้สถาปัตยกรรม Mixture-of-Experts ทำงานจริง 2.5B พารามิเตอร์
- คะแนน SWE-bench Verified พุ่งจาก 2.0 สู่ 47.0
- เผยแพร่ภายใต้สัญญาอนุญาต Apache 2.0
JetBrains ผู้พัฒนาเครื่องมือพัฒนาซอฟต์แวร์ชื่อดัง ได้ประกาศเปิดตัวโมเดลปัญญาประดิษฐ์ตัวใหม่ล่าสุดในชื่อ Mellum2.1 ซึ่งออกแบบมาเพื่อสนับสนุนการทำงานของเอเจนต์เขียนโค้ดโดยเฉพาะ โมเดลนี้ถูกพัฒนาขึ้นด้วยสถาปัตยกรรมแบบ Mixture-of-Experts (MoE) ที่มีขนาดพารามิเตอร์รวม 12 พันล้านพารามิเตอร์ และมีพารามิเตอร์ที่ใช้งานจริงในแต่ละขั้นตอนจำนวน 2.5 พันล้านพารามิเตอร์
จุดเด่นสำคัญของ Mellum2.1 คือการนำเทคนิคการเรียนรู้แบบเสริมแรง (Reinforcement Learning - RL) มาฝึกฝนบนคลังเก็บโค้ดจริง (real repositories) ซึ่งส่งผลให้ความสามารถในการแก้ปัญหาการเขียนโปรแกรมพัฒนาขึ้นอย่างก้าวกระโดด
จากการทดสอบมาตรฐานผ่านเกณฑ์ SWE-bench Verified พบว่า คะแนนความสามารถของโมเดลนี้ขยับขึ้นจากเดิม 2.0 พุ่งสูงขึ้นไปอยู่ที่ 47.0 อย่างน่าประทับใจ ซึ่งแสดงให้เห็นถึงประสิทธิภาพที่สูงขึ้นในการจัดการกับโจทย์ซอฟต์แวร์จริง
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
การที่ JetBrains เลือกใช้สถาปัตยกรรม Mixture-of-Experts (MoE) ร่วมกับการฝึกฝนด้วย Reinforcement Learning บนคลังโค้ดจริง สะท้อนให้เห็นทิศทางของการพัฒนา AI สำหรับนักพัฒนาที่เน้นความแม่นยำสูงและประหยัดทรัพยากรการประมวลผล โดยการเปิดให้ใช้งานแบบโอเพนซอร์สภายใต้สัญญาอนุญาต Apache 2.0 จะช่วยให้นักพัฒนาและนักวิจัยสามารถนำไปต่อยอดและตรวจสอบความปลอดภัยได้อย่างโปร่งใส
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น