<div class="key-takeaways"><ul><li>Cursor เปิดซอร์ส Mixture-of-Kittens (MoK) ภายใต้ไลเซนส์ Apache-2.0</li><li>ออกแบบมาเพื่อใช้งานบน GPU NVIDIA Blackwell SM100 หรือ SM103 (GB200/GB300 NVL72) เท่านั้น</li><li>เพิ่มความเร็วในการประมวลผล MXFP8 ไปข้างหน้าสูงสุด 2.37 เท่า</li><li>ลดการซิงโครไนซ์ระหว่าง CPU และ GPU เพื่อแก้ปัญหาคอขวดด้านการสื่อสาร</li></ul></div><p>Cursor ได้ประกาศเปิดตัวซอร์สโค้ดของ <strong>Mixture-of-Kittens (MoK)</strong> ซึ่งเป็นเมกะเคอร์เนลสำหรับการฝึกโมเดลประเภท Mixture-of-Experts (MoE) แบบ Deterministic บนแพลตฟอร์ม GitHub ภายใต้สัญญาอนุญาตแบบ Apache-2.0 โดยซอฟต์แวร์นี้ถูกสร้างขึ้นมาเพื่อรีดประสิทธิภาพสูงสุดจากฮาร์ดแวร์ระดับไฮเอนด์อย่างแท้จริง</p><p>อย่างไรก็ตาม ข้อจำกัดด้านฮาร์ดแวร์ของ MoK นั้นอยู่ในระดับสูงมาก โดยจำเป็นต้องใช้งานร่วมกับ GPU NVIDIA Blackwell SM100 หรือ SM103 ซึ่งหมายความว่าผู้ใช้งานต้องมีหรือเช่าแร็คเซิร์ฟเวอร์รุ่น GB200 NVL72 หรือ GB300 NVL72 เท่านั้น นอกจากนี้ยังต้องรันบนสภาพแวดล้อม Python 3.12+, PyTorch 2.10+, และ CUDA toolkit 13.0+ อีกทั้งบัฟเฟอร์ระหว่าง GPU จะต้องอาศัยระบบ PyTorch symmetric memory</p><p>ด้วยเหตุนี้ กลุ่มผู้ใช้งานจริงจึงจำกัดอยู่เพียงองค์กรที่มีความพร้อมด้านโครงสร้างพื้นฐาน เช่น ห้องปฏิบัติการชั้นนำ, สตาร์ทอัพด้านโมเดลที่ได้รับทุนหนา, ผู้ให้บริการ GPU neoclouds และศูนย์คอมพิวเตอร์แห่งชาติ ขณะที่ทีมงานระดับโหนดเดี่ยวหรือร้านค้าที่มี GPU จำนวน 8 ตัวจะไม่สามารถใช้งานได้</p><div class="ai-insight"><p>การที่ Cursor พัฒนาเคอร์เนลที่เจาะจงฮาร์ดแวร์ Blackwell ขนาดใหญ่นี้ สะท้อนให้เห็นว่าปัญหาคอขวดในการฝึกโมเดล AI ขนาดยักษ์ยุคปัจจุบันได้ย้ายจากการคำนวณมาอยู่ที่การสื่อสารและการซิงโครไนซ์ข้อมูลภายในแร็คแล้ว การออกแบบเมกะเคอร์เนลที่ลดการพึ่งพาซีพียูจึงเป็นกุญแจสำคัญในการปลดล็อกประสิทธิภาพของฮาร์ดแวร์ NVLink โดเมนเดียวที่มี GPU ถึง 72 ตัว</p></div><p>ในแง่ของการประยุกต์ใช้งาน MoK เหมาะสำหรับงานที่มีความจำเพาะแต่มีมูลค่าสูง ได้แก่ การฝึกอบรมล่วงหน้า (Pretraining) และการฝึกอบรมภายหลัง (Post-training) ของโมเดล MoE สไตล์ DeepSeek-V3 รวมถึงการทำ on-policy RL post-training และ internal ablations เนื่องจากระบบมีความเป็น Deterministic สูง อุตสาหกรรมที่เกี่ยวข้องจึงครอบคลุมทั้งการพัฒนาโมเดล AI, โครงสร้างพื้นฐานคลาวด์ GPU, เครื่องมือสร้างโค้ด และการวิจัยเชิงปริมาณ</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/cursor_mixture_of_kittens_mok_ai_gb300_nvl72_msf9xxaq_inline_1_718aa8ccb5.jpg" alt="AI model training infrastructure server rack" loading="lazy" /><p class="color-gray-500 text-sm mt-10">ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง</p></div><p>ในกระบวนการผลิตจริง การสื่อสารเคยกลายเป็นปัจจัยจำกัดความเร็ว โดยเลเยอร์ MoE สามารถกินเวลาการฝึกอบรมแบบ end-to-end ไปมากกว่าครึ่งหนึ่ง การเปลี่ยนมาใช้ GB300 NVL72 ช่วยให้เกิดการเหลื่อมซ้อนกันแบบละเอียดย่อย (fine-grained overlap) ภายใน NVLink โดเมนที่มี 72 GPU แต่เนื่องจาก CPU ตระกูล Grace ที่ติดตั้งมาด้วยมีความเร็วต่ำกว่า GPU การลดการซิงโครไนซ์ระหว่าง CPU และ GPU จึงต้องทำอย่างดุดัน</p><div class="stat-row"><div class="stat-item"><span class="stat-number">2.37x</span><span class="stat-label">ความเร็ว MXFP8 ไปข้างหน้า</span></div><div class="stat-item"><span class="stat-number">1.41x</span><span class="stat-label">โทเค็นต่อวินาทีต่อ GPU</span></div></div><p>โครงสร้างของ MoK ถูกสร้างขึ้นเป็นเมกะเคอร์เนลและมีความเป็น Deterministic อย่างสมบูรณ์ รองรับโหมดความแม่นยำ BF16 และ MXFP8 การจัดตารางเวลาทำงานผ่าน Cluster Launch Control ของ Blackwell ทำให้ inter-rack RDMA ไม่ถูกจัดลำดับต่อท้าย ในส่วนของเกณฑ์มาตรฐานเลเยอร์บนแร็ค NVL72 เดี่ยวที่ระดับ EP 64 พบว่า MoK ทำความเร็วในการประมวลผล MXFP8 ไปข้างหน้าได้มากกว่าเบสไลน์ที่เร็วที่สุดถึง 2.37 เท่า และเพิ่มอัตราโทเค็นต่อวินาทีต่อ GPU จาก 760.9 เป็น 1,070.2 หรือคิดเป็น 1.41 เท่า</p><p class="source-attribution">ที่มา: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/08/04/cursor-open-sources-mixture-of-kittens-mok-a-deterministic-moe-training-megakernel-for-gb300-nvl72-racks/" target="_blank" rel="noopener noreferrer">MarkTechPost</a></p>

<div class="key-takeaways"><ul><li>Cursor open-sources Mixture-of-Kittens (MoK) under the Apache-2.0 license.</li><li>Requires NVIDIA Blackwell SM100 or SM103 GPUs (GB200/GB300 NVL72 racks).</li><li>Delivers up to 2.37x faster MXFP8 forward pass performance.</li><li>Minimizes CPU-GPU synchronization to resolve communication bottlenecks.</li></ul></div><p>Cursor has officially open-sourced <strong>Mixture-of-Kittens (MoK)</strong>, a deterministic Mixture-of-Experts (MoE) training megakernel, available on GitHub under the Apache-2.0 license. The software is engineered to squeeze maximum performance out of cutting-edge hardware infrastructure.</p><p>However, the hardware requirements for MoK set a high barrier to entry. It demands NVIDIA Blackwell SM100 or SM103 GPUs, translating to GB200 NVL72 or GB300 NVL72 rack ownership or rental. Furthermore, it requires Python 3.12+, PyTorch 2.10+, and CUDA toolkit 13.0+, with inter-GPU buffers relying heavily on PyTorch symmetric memory.</p><p>This hardware threshold restricts realistic adopters to organizations with substantial capacity, such as frontier labs, funded model startups, GPU neoclouds, and national computing centers. Single-node teams and standard 8-GPU shops are left out of the equation.</p><div class="ai-insight"><p>The introduction of this specialized megakernel highlights a shifting paradigm in large-scale AI training, where communication overhead within a rack often supersedes raw compute limits. By minimizing reliance on integrated Grace CPUs inside massive 72-GPU NVLink domains, MoK addresses the critical synchronization bottleneck that traditionally plagues massive MoE model scaling.</p></div><p>Applications remain narrow yet high-value, encompassing pretraining and post-training of DeepSeek-V3-style MoE models, on-policy RL post-training, and internal ablations where determinism is critical. Relevant sectors span AI model development, cloud GPU infrastructure, code-generation tooling, and quantitative research.</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/cursor_mixture_of_kittens_mok_ai_gb300_nvl72_msf9xxaq_inline_1_718aa8ccb5.jpg" alt="AI model training infrastructure server rack" loading="lazy" /><p class="color-gray-500 text-sm mt-10">Stock photo for illustration only, not from the actual event</p></div><p>In production environments, communication historically served as the primary limiting factor, with the MoE layer consuming over half of end-to-end training time. Transitioning to GB300 NVL72 systems alters this dynamic by enclosing 72 GPUs inside a single NVLink domain for fine-grained overlap, though the slower integrated Grace CPUs still necessitate aggressive minimization of CPU-GPU synchronization.</p><div class="stat-row"><div class="stat-item"><span class="stat-number">2.37x</span><span class="stat-label">MXFP8 Forward Speedup</span></div><div class="stat-item"><span class="stat-number">1.41x</span><span class="stat-label">Tokens/Sec/GPU Gain</span></div></div><p>Built as a fully deterministic megakernel, MoK supports BF16 and MXFP8 precision modes, scheduling via Blackwell's Cluster Launch Control to prevent inter-rack RDMA serialization. Layer benchmarks on a single NVL72 rack at EP degree 64 demonstrated that MoK achieves up to 2.37x faster performance for MXFP8 forward passes compared to the fastest baseline, while end-to-end token throughput per GPU rose from 760.9 to 1,070.2.</p><p class="source-attribution">Source: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/08/04/cursor-open-sources-mixture-of-kittens-mok-a-deterministic-moe-training-megakernel-for-gb300-nvl72-racks/" target="_blank" rel="noopener noreferrer">MarkTechPost</a></p>

medium_article-1567.jpg

small_article-1567.jpg

thumbnail_article-1567.jpg

article-1567.jpg

Cursor โอดซอร์ส MoK เมกะเคอร์เนล Mixture-of-Experts สำหรับสถาปัตยกรรม NVIDIA Blackwell เร่งความเร็วฝึกโมเดลพุ่งสูงสุด 2.37 เท่า

Cursor releases MoK, a deterministic Mixture-of-Experts training megakernel designed for NVIDIA Blackwell architecture, boosting training speeds up to 2.37x.

Inewgen

Inewgen

#Mixture-of-Kittens

Cursor Open-Sources Mixture-of-Kittens (MoK) Megakernel for GB300 NVL72 Racks

Inewgen