<div class="key-takeaways"><ul><li>Instella-MoE เป็นโมเดล Mixture-of-Experts ขนาด 16 พันล้านพารามิเตอร์ ทำงานจริง 2.8 พันล้านพารามิเตอร์</li><li>ใช้สถาปัตยกรรมพิเศษ Gated MLA และ FarSkip-Collective ช่วยเร่งความเร็วการประมวลผล</li><li>ชุดข้อมูลฝึกอบรมครอบคลุม 7.1 ล้านล้านโทเค็น และขยายความยาวบริบทได้ถึง 64,000 โทเค็น</li><li>ตัวโมเดลพื้นฐานทำคะแนนเฉลี่ย 76.7 สูงสุดในกลุ่มโมเดลแบบเปิดทั้งหมด</li></ul></div><p>บริษัท AMD ได้เปิดตัว <strong>Instella-MoE-16B-A3B</strong> ซึ่งเป็นโมเดลภาษาขนาดใหญ่ (LLM) แบบ Mixture-of-Experts (MoE) ที่เปิดให้ใช้งานแบบโอเพนซอร์สเต็มรูปแบบ โดยโมเดลนี้ผ่านการฝึกอบรมบนฮาร์ดแวร์ GPU Instinct ของ AMD ตัวโมเดลมาพร้อมพารามิเตอร์รวม 16 พันล้านพารามิเตอร์ แต่จะใช้งานจริงเพียง 2.8 พันล้านพารามิเตอร์ต่อการประมวลผลหนึ่งครั้ง</p><p>ในด้านลิขสิทธิ์ น้ำหนักของโมเดล (weights) จะถูกเผยแพร่ภายใต้ใบอนุญาต ResearchRAIL สำหรับการใช้งานด้านการวิจัยและวิชาการเท่านั้น จึงไม่ใช่โมเดลสำหรับนำไปใช้งานเชิงพาณิชย์ได้ทันที อย่างไรก็ตาม โค้ดเบสสำหรับการฝึกอบรม (training codebase) นั้นใช้ใบอนุญาตแบบ MIT ซึ่งเปิดกว้างให้นำกลับมาใช้ประโยชน์ได้มากกว่า</p><p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/amd_instella_moe_16b_a3b_open_llm_moe_16_msazicpb_inline_1_b31ed675a7.png" alt="Artificial intelligence neural network diagram" loading="lazy" /><p class="color-gray-500 text-sm mt-10">ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง</p></div></p><p>โครงสร้างภายในของ Instella-MoE เป็นแบบ decoder-only ประกอบด้วย 27 เลเยอร์ ขนาด hidden size ที่ 2048, 16 ออตเทนชันเฮด (attention heads) และขนาดคำศัพท์ (vocabulary) 128,896 โทเค็น แต่ละเลเยอร์ของ MoE จะใช้ shared experts จำนวน 2 ตัว ร่วมกับ routed experts อีก 6 ตัวที่ถูกคัดเลือกมาจากทั้งหมด 64 ตัว พร้อมทั้งใช้เป้าหมายการทำนายแบบ Multi-Token Prediction ในช่วง pre-training และ mid-training</p><div class="stat-row"><div class="stat-item"><span class="stat-number">12.7%</span><span class="stat-label">ความเร็ว Pre-training ที่เพิ่มขึ้น</span></div><div class="stat-item"><span class="stat-number">39.2%</span><span class="stat-label">ลดเวลา Time to First Token</span></div></div><p>สิ่งที่น่าสนใจคือการตัดสินใจเลือกใช้โครงสร้างสำคัญ 2 ส่วน ได้แก่ Gated MLA ซึ่งเพิ่มเกตเอาต์พุตที่ผ่านการเรียนรู้เข้าไปใน Multi-head Latent Attention ช่วยให้การประมวลผลแม่นยำขึ้น และ FarSkip-Collective ที่ส่งผ่าน activation ที่ล้าสมัยหรือไม่สมบูรณ์เข้าสู่เลเยอร์ MoE และ attention เพื่อช่วยซ้อนทับการสื่อสารแบบขนานของ expert เข้ากับการคำนวณ ส่งผลให้ AMD รายงานว่ามีความเร็วในการ pre-training เพิ่มขึ้น 12.7% และลดเวลา time to first token ลงได้สูงสุด 39.2% เมื่อให้บริการด้วยระบบ expert parallelism</p><div class="ai-insight"><p>สถาปัตยกรรม Mixture-of-Experts (MoE) ถือเป็นแนวทางสำคัญในการพัฒนาโมเดลภาษาขนาดใหญ่ยุคใหม่ เพราะช่วยให้โมเดลมีขนาดพารามิเตอร์รวมสูงเพื่อเก็บความรู้ได้มาก แต่ใช้ทรัพยากรการประมวลผลจริงน้อยลงในแต่ละขั้นตอน (Active Parameters ต่ำ) การที่ AMD พัฒนาโมเดลนี้พร้อมปรับแต่งฮาร์ดแวร์ Instinct ควบคู่กัน สะท้อนถึงความพยายามเจาะตลาดโครงสร้างพื้นฐาน AI ที่ต้องการทั้งประสิทธิภาพและความคุ้มค่าในการประมวลผลระดับองค์กร</p></div><p>กระบวนการฝึกอบรมเริ่มต้นด้วย pre-training บนชุดข้อมูลขนาด 7.1 ล้านล้านโทเค็นจากคลังข้อมูลเปิด เช่น Nemotron-CC-v2, MegaMath, FineMath, RefineCode และ TxT360 ตามด้วย mid-training และการขยายหน้าต่างบริบทจาก 4,000 ไปจนถึง 64,000 โทเค็นด้วยเทคนิค YaRN</p><p>ในส่วนของการทดสอบประสิทธิภาพ โมเดลพื้นฐานทำคะแนนเฉลี่ยได้ 76.7 ซึ่งถือว่าสูงที่สุดในกลุ่มโมเดลแบบเปิดทั้งหมด เหนือกว่า Moonlight-16B-A3B (76.2) และ OLMo-3-7B (70.1) รวมถึงทำคะแนนบน WinoGrande ได้ 86.5 และ HumanEval+ ที่ 65.7</p><p class="source-attribution">ที่มา: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/08/01/amd-instella-moe-16b-a3b-fully-open-mixture-of-experts-llm/" target="_blank" rel="noopener noreferrer">MarkTechPost</a></p>

<div class="key-takeaways"><ul><li>Instella-MoE is a 16B parameter Mixture-of-Experts model with 2.8B active parameters.</li><li>It incorporates structural choices like Gated MLA and FarSkip-Collective to accelerate processing.</li><li>The training corpus spans 7.1T tokens with a context window extended up to 64K tokens.</li><li>The base checkpoint achieves an average score of 76.7, leading fully open-source models.</li></ul></div><p>AMD has officially released <strong>Instella-MoE-16B-A3B</strong>, a fully open-source Mixture-of-Experts (MoE) large language model trained on its Instinct GPUs. The model features a total of 16 billion parameters while utilizing 2.8 billion active parameters per forward pass.</p><p>Regarding licensing, the model weights are shipped under a ResearchRAIL license strictly for academic and research purposes, meaning it is not a drop-in commercial model. However, the training codebase is released under the more reusable MIT license.</p><p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/amd_instella_moe_16b_a3b_open_llm_moe_16_msazicpb_inline_1_b31ed675a7.png" alt="Artificial intelligence neural network diagram" loading="lazy" /><p class="color-gray-500 text-sm mt-10">Stock photo for illustration only, not from the actual event</p></div></p><p>Architecturally, Instella-MoE is a decoder-only MoE featuring 27 layers, a hidden size of 2048, 16 attention heads, and a 128,896-token vocabulary. Each MoE layer utilizes 2 shared experts alongside 6 routed experts selected from a pool of 64, applying a Multi-Token Prediction objective during pre-training and mid-training.</p><div class="stat-row"><div class="stat-item"><span class="stat-number">12.7%</span><span class="stat-label">Pre-training Speedup</span></div><div class="stat-item"><span class="stat-number">39.2%</span><span class="stat-label">Reduction in Time to First Token</span></div></div><p>Two critical structural choices drive the model's efficiency. Gated MLA introduces a lightweight learned output gate to Multi-head Latent Attention, while FarSkip-Collective passes outdated and partial activations into the MoE and attention layers to overlap expert-parallel communication with computation. AMD reports a 12.7% pre-training speedup and up to a 39.2% reduction in time to first token when serving with expert parallelism.</p><div class="ai-insight"><p>Mixture-of-Experts (MoE) architecture represents a pivotal shift in modern LLM design, allowing models to scale their total parameter count for vast knowledge retention while keeping active compute costs remarkably low per token. AMD's release of Instella-MoE paired with its hardware optimizations highlights a strategic push to empower developers and researchers with high-performance, cost-effective open AI infrastructure.</p></div><p>Pre-training covers 7.1 trillion tokens drawn from open corpora including Nemotron-CC-v2, MegaMath, FineMath, RefineCode, and TxT360. This is followed by mid-training phases and a long-context stage extending the sequence window from 4K to 64K using YaRN, increased RoPE theta, and document masking.</p><p>In benchmark evaluations, the base checkpoint achieves an average score of 76.7, ranking as the strongest among fully open models—outperforming Moonlight-16B-A3B (76.2) and OLMo-3-7B (70.1). It also records 86.5 on WinoGrande and 65.7 on HumanEval+.</p><p class="source-attribution">Source: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/08/01/amd-instella-moe-16b-a3b-fully-open-mixture-of-experts-llm/" target="_blank" rel="noopener noreferrer">MarkTechPost</a></p>

medium_article-1205.jpg

small_article-1205.jpg

thumbnail_article-1205.jpg

article-1205.jpg

AMD เปิดตัวโมเดลภาษาขนาดใหญ่รุ่นใหม่ Instella-MoE-16B-A3B แบบโอเพนซอร์ส ชูจุดเด่น 2.8 พันล้านพารามิเตอร์ทำงานจริง พร้อมเทคนิคเร่งความเร็วด้วย GPU Instinct

Inewgen

Inewgen

#Instella-MoE

AMD Releases Instella-MoE-16B-A3B: A Fully Open Mixture-of-Experts LLM

Inewgen