<div class="key-takeaways"><ul><li>Inkling-Small เป็นโมเดล MoE 276B พารามิเตอร์รวม โดยมี Active พารามิเตอร์ 12B</li><li>เวอร์ชัน NVFP4 ต้องการ VRAM เพียง 180 GB รันได้บน B300 เดี่ยวๆ หรือ H200 สองตัว</li><li>รองรับอินพุตหลายรูปแบบทั้งข้อความ ภาพ และเสียง WAV 16 kHz</li><li>เปิดให้ใช้งานผ่าน Tinker และรันไทม์ยอดนิยมอย่าง vLLM และ SGLang</li></ul></div><p>Thinking Machines Lab ได้ฤกษ์เปิดตัวโมเดลปัญญาประดิษฐ์ตัวใหม่ล่าสุดในชื่อ Inkling-Small ซึ่งเป็นโมเดล Multimodal Mixture of Experts (MoE) แบบ Open Weights ที่มีจำนวนพารามิเตอร์รวมสูงถึง 276 พันล้านพารามิเตอร์ แต่ใช้งานพารามิเตอร์จริงต่อโทเค็นเพียง 12 พันล้านพารามิเตอร์เท่านั้น โดยจุดเด่นสำคัญอยู่ที่การจัดการโมเดลผ่านเช็คพอยต์แบบควอนไทเซชัน ช่วยให้องค์กรระดับกลางและสตาร์ทอัพสามารถโฮสต์โมเดลขนาดใหญ่เช่นนี้ได้ด้วยต้นทุนฮาร์ดแวร์ที่เข้าถึงได้ง่ายขึ้นมาก เมื่อเทียบกับโมเดลระดับแนวหน้าทั่วไปในตลาดปัจจุบัน</p><p>ในแง่ของความต้องการทรัพยากรฮาร์ดแวร์ เช็คพอยต์แบบ BF16 ดั้งเดิมจำเป็นต้องใช้หน่วยความจำ VRAM รวมกันอย่างน้อย 600 GB ซึ่งเทียบเท่ากับการใช้งานการ์ดจอ NVIDIA B300 จำนวน 4 ตัว หรือ NVIDIA H200 จำนวน 8 ตัว อย่างไรก็ตาม เช็คพอยต์แบบ NVFP4 สามารถลดความต้องการลงมาเหลือเพียง 180 GB เท่านั้น ทำให้สามารถรันแบบ W4A4 บนการ์ดจอ B300 เดี่ยวที่มีสถาปัตยกรรม SM100+ ขึ้นไป หรือรันแบบ W4A16 บนการ์ดจอ H200 จำนวน 2 ตัวได้อย่างราบรื่น นอกจากนี้ตัวโมเดลยังรองรับรันไทม์หลากหลายรูปแบบ อาทิ SGLang, vLLM, TokenSpeed, Unsloth และ Hugging Face</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/thinking_machines_lab_inkling_small_moe_open_weights_276b_mscey3wz_inline_1_61ee9865a9.jpg" alt="advanced artificial intelligence microchip architecture" loading="lazy" /><p class="color-gray-500 text-sm mt-10">ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง</p></div><div class="stat-row"><div class="stat-item"><span class="stat-number">276B</span><span class="stat-label">พารามิเตอร์รวมทั้งหมด</span></div><div class="stat-item"><span class="stat-number">12B</span><span class="stat-label">พารามิเตอร์ที่ใช้งานจริงต่อโทเค็น</span></div><div class="stat-item"><span class="stat-number">180 GB</span><span class="stat-label">VRAM ขั้นต่ำด้วยเช็คพอยต์ NVFP4</span></div></div><p>สถาปัตยกรรมภายในของ Inkling-Small ประกอบด้วยเลเยอร์ Decoder-only แบบทรานส์ฟอร์เมอร์จำนวน 42 เลเยอร์ ใช้โครงสร้างแบ็คโบน MoE แบบสพาร์ส (Sparse) โดยทุกๆ โทเค็นจะถูกส่งผ่านผู้เชี่ยวชาญ (Experts) จำนวน 6 ตัวจากทั้งหมด 256 ตัว พร้อมด้วยผู้เชี่ยวชาญแบบแชร์ร่วมกันอีก 2 ตัวที่ทำงานทุกโทเค็น ส่วนกลไก Attention ผสมผสานระหว่างเลเยอร์แบบท้องถิ่นและแบบ global เข้าด้วยกัน ตัวโมเดลไม่มี Encoder แยกต่างหากแต่รองรับมัลติโมเดลโดยกำเนิด ภาพถ่ายจะถูกแบ่งเป็นแพตช์ขนาด 40x40 พิกเซลและแปลงผ่าน hMLP สี่เลเยอร์ ส่วนเสียงจะอยู่ในรูป dMel spectrogram ก่อนจะผ่านเลเยอร์ฝังตัวน้ำหนักเบาเพื่อประมวลผลร่วมกับข้อความ</p><p>กระบวนการฝึกฝนของ Inkling-Small เริ่มต้นขึ้นหลังจากรุ่นพี่ขนาดใหญ่กว่าเสร็จสิ้น ทำให้ทีมวิจัยสามารถปรับปรุงส่วนผสมของข้อมูล Pre-training และสูตรการเรียนรู้ของเครื่องได้ดียิ่งขึ้น ทีมงานได้ทำการ Post-trained เช็คพอยต์รุ่นก่อนหน้าโดยใช้การกลั่นความรู้แบบ on-policy ร่วมกับรุ่นใหญ่เป็นครูผู้สอน ก่อนจะนำไปสเกลต่อในการทำ Reinforcement Learning สำหรับการเขียนโค้ดต่ออีกสองสัปดาห์เต็ม แม้ผลคะแนนการประเมินในบางด้าน เช่น SimpleQA Verified จะลดลงเหลือ 20.6% และ Tau 3 Banking อยู่ที่ 15.5% แต่คะแนนด้านมัลติโมเดลกลับทำได้ใกล้เคียงกับรุ่นใหญ่ในต้นทุนที่ต่ำกว่ามาก เช่น MMMU Pro ได้ 74.0%, CharXiv RQ ได้ 77.4% และ VoiceBench สูงถึง 90.1%</p><div class="ai-insight"><p>การเปิดตัว Inkling-Small สะท้อนให้เห็นถึงความพยายามของห้องปฏิบัติการวิจัยในการย่อส่วนโมเดลทรงพลังให้เข้ามาใกล้กลุ่มผู้ใช้งานในระดับองค์กรขนาดกลางและสตาร์ทอัพมากขึ้น การลดขนาด VRAM ให้เหลือเพียง 180 GB ผ่านการทำ Quantization แบบ NVFP4 ถือเป็นก้าวสำคัญที่ช่วยปลดล็อกให้ภาคธุรกิจที่มีข้อจำกัดด้านงบประมาณฮาร์ดแวร์ สามารถเข้าถึงเทคโนโลยี MoE ขนาดใหญ่ระดับหลายแสนล้านพารามิเตอร์ได้บนเซิร์ฟเวอร์การ์ดจอเดี่ยวหรือการ์ดจำนวนน้อยลงอย่างมีนัยสำคัญ</p></div><p>ด้านความปลอดภัยและการพยากรณ์ข้อมูล Inkling-Small ทำคะแนน ForecastBench (ไม่ใช้การค้นหา) ได้ดัชนี Brier ที่ 61.3 ± 0.46 ซึ่งแซงหน้ารุ่นพี่ และในด้านความปลอดภัยทำคะแนน StrongREJECT ได้ 98.4% ทาง Thinking Machines Lab ระบุว่าโมเดลนี้มีความปลอดภัยในระดับมาตรฐาน แต่อย่างไรก็ตามทางห้องปฏิบัติการยังคงแนะนำให้องค์กรที่นำไปใช้งานสำหรับผู้บริโภคทั่วไปควรติดตั้งระบบกลั่นกรองเพิ่มเติม เช่น Llama Guard ไว้ที่ชั้นปลายทางเสมอ ทั้งนี้ โมเดลทั้งสองเวอร์ชันพร้อมให้ใช้งานแล้วบนแพลตฟอร์ม Tinker พร้อมส่วนลดในช่วงเวลาจำกัด</p><p class="source-attribution">ที่มา: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/08/02/thinking-machines-lab-releases-inkling-small-276b-open-weights-multimodal-moe-model/" target="_blank" rel="noopener noreferrer">MarkTechPost</a></p>

<div class="key-takeaways"><ul><li>Inkling-Small features 276B total parameters with 12B active parameters per token.</li><li>The NVFP4 checkpoint reduces VRAM requirements to 180 GB, fitting on a single B300 or two H200s.</li><li>Supports multiple modalities including text, images, and 16 kHz WAV audio inputs.</li><li>Available now on Tinker and compatible with popular runtimes like vLLM and SGLang.</li></ul></div><p>Thinking Machines Lab has officially launched Inkling-Small, an open-weights multimodal Mixture of Experts (MoE) model packing a total of 276 billion parameters while activating 12 billion parameters per token. Designed to move large-scale AI architectures out of exclusive frontier-lab territories, this release enables startups, mid-size enterprises, and regulated sectors to self-host or serve a powerful multimodal model without requiring massive new infrastructure investments.</p><p>Addressing hardware constraints directly, the model's standard BF16 checkpoint requires at least 600 GB of aggregated VRAM, a capacity satisfied by four NVIDIA B300 GPUs or eight NVIDIA H200 GPUs. However, the NVFP4 checkpoint dramatically lowers this entry barrier to 180 GB. This allows the model to execute W4A4 workloads on a single B300 GPU with SM100+ architecture or W4A16 on two H200 units. Supported serving runtimes include SGLang, vLLM, TokenSpeed, Unsloth, and Hugging Face.</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/thinking_machines_lab_inkling_small_moe_open_weights_276b_mscey3wz_inline_1_61ee9865a9.jpg" alt="advanced artificial intelligence microchip architecture" loading="lazy" /><p class="color-gray-500 text-sm mt-10">Stock photo for illustration only, not from the actual event</p></div><div class="stat-row"><div class="stat-item"><span class="stat-number">276B</span><span class="stat-label">Total Parameters</span></div><div class="stat-item"><span class="stat-number">12B</span><span class="stat-label">Active Parameters Per Token</span></div><div class="stat-item"><span class="stat-number">180 GB</span><span class="stat-label">Minimum VRAM with NVFP4</span></div></div><p>Architecturally, Inkling-Small is built as a 42-layer decoder-only transformer utilizing a sparse MoE feed-forward backbone. Every incoming token routes dynamically through 6 out of 256 individual experts, alongside 2 shared experts that remain constantly active. Attention mechanisms combine local and global layers natively. The model operates encoder-free, handling images split into 40x40-pixel patches processed via a four-layer hMLP, and representing audio as dMel spectrograms. Both modalities feed into a lightweight embedding layer to process jointly alongside text tokens.</p><p>Inkling-Small began its training cycle following its larger predecessor, allowing researchers to refine the pre-training data mix and machine learning recipe. The team post-trained an earlier preview checkpoint using on-policy distillation with the larger Inkling model acting as the teacher, followed by two weeks of scaling agentic coding reinforcement learning. While benchmark metrics such as SimpleQA Verified drop to 20.6% and Tau 3 Banking to 15.5%, multimodal capabilities remain remarkably competitive at a fraction of the cost, scoring 74.0% on MMMU Pro and 90.1% on VoiceBench.</p><div class="ai-insight"><p>The introduction of Inkling-Small highlights a broader industry shift toward efficiency and accessibility in generative AI. By optimizing quantization down to 180 GB via NVFP4, Thinking Machines Lab bridges the gap between massive frontier models and operational deployment realities for enterprises and regulated sectors that demand data privacy and local hosting capabilities.</p></div><p>Regarding calibration and safety, Inkling-Small achieves a Brier Index of 61.3 ± 0.46 on ForecastBench without search, outperforming its larger counterpart. Safety evaluations report 98.4% on StrongREJECT and 96.9% on FORTRESS benign. Thinking Machines Lab notes that the model introduces no material uplift risks beyond the existing open-weight ecosystem, recommending standard downstream moderation like Llama Guard for consumer-facing deployments. Both models are currently accessible on Tinker with limited-time discounts.</p><p class="source-attribution">Source: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/08/02/thinking-machines-lab-releases-inkling-small-276b-open-weights-multimodal-moe-model/" target="_blank" rel="noopener noreferrer">MarkTechPost</a></p>

large_article-1295.jpg

medium_article-1295.jpg

small_article-1295.jpg

thumbnail_article-1295.jpg

Inewgen

Inewgen

#Thinking Machines Lab

Thinking Machines Lab Releases Inkling-Small: A 276B Open Weights Multimodal MoE Model

Inewgen