<div class="key-takeaways"><ul><li>Nunchux AI เปิดตัว VC-Attention เคอร์เนลความสนใจแบบ low-bit ที่ไม่ต้องเทรดซ้ำ</li><li>ช่วยลดเวลาการประมวลผลส่วน Attention ใน Video Diffusion Transformers ได้อย่างมีนารี</li><li>ทดสอบบนโมเดลชั้นนำ 4 ตัว ได้แก่ Wan2.2, LongCat-Video, HunyuanVideo-1.5 และ MiniMax-H3</li><li>ทำความเร็วเหนือกว่า SageAttention2 บนชิป B200 ได้ถึง 6.02 เท่า</li></ul></div><p>การสร้างวิดีโอด้วยปัญญาประดิษฐ์ผ่านโมเดล Video Diffusion Transformers หรือ Video DiTs มักเผชิญกับอุปสรรคด้านการประมวลผล โดยคลิปวิดีโอความยาว 5 วินาที ความละเอียด 720p ของ Wan2.2-14B จะขยายออกเป็นโทเค็นเชิงพื้นที่และเวลามากถึง 70,000 โทเค็น ส่งผลให้บนการ์ดจอ RTX 5090 กระบวนการ Attention กินเวลาไปมากกว่าร้อยละ 64 ของเวลาการสร้างทั้งหมด ขณะที่ทีมวิจัยระบุว่ากระบวนการนี้กินสัดส่วนราวสองในสามของทุกขั้นตอนการขจัดสัญญาณรบกวนบนชิป B200 ตัวเดียว</p><p>แม้ว่า Tensor Cores แบบ low-bit จะช่วยเร่งการคูณเมทริกซ์ QK และ PV ได้ แต่ยังคงมีอุปสรรคสำคัญเหลืออยู่สองประการ ประการแรก วิธีการเดิมอย่าง SageAttention2 จะทำการปรับเรียบควรีและคีย์ แต่หลังจากกระบวนการดังกล่าว ค่าเทอมของ Value จะส่งผลให้เกิดความผิดพลาดของเอาต์พุตสูงถึงร้อยละ 82 บนโมเดล Wan2.2 และประการที่สอง การคำนวณ Softmax ระหว่างการคูณยังคงรันบน FP32 ซึ่งบนชิป B200 และ H200 ฟังก์ชันเอ็กซ์โพเนนเชียลและการแปลงเป็น FP8 กลายเป็นขั้นตอนในพาสป์ไลน์ที่ใช้เวลานานที่สุด</p><p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/nunchux_ai_vc_attention_video_dits_mu52s7al_inline_1_cdb965c16c.jpg" alt="microchip hardware technology circuit board" loading="lazy" /><p class="color-gray-500 text-sm mt-10">ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง</p></div></p><p>เพื่อแก้ปัญหาดังกล่าว ทีมงานจึงได้พัฒนาเทคนิคการจัดกลุ่มเฉพาะในช่วงร้อยละ 25 แรกของขั้นตอนการขจัดสัญญาณรบกวน โดยนำการจัดเรียงนี้กลับมาใช้ซ้ำใน 4 ขั้นตอนที่อยู่ติดกัน ซึ่งเมื่อเฉลี่ยตลอดตารางเวลาทั้งหมดแล้ว การจัดกลุ่มนี้จะมีต้นทุนเวลา Attention เพียงร้อยละ 3 ถึง 4 เท่านั้น นอกจากนี้ยังมีการใช้ ExpCast-FP8 เพื่อเขียนไบต์โดยตรงจากคะแนนในโดเมนลอการิทึม ช่วยลดความผิดพลาดและเพิ่มประสิทธิภาพในการประมวลผล</p><div class="stat-row"><div class="stat-item"><span class="stat-number">6.02x</span><span class="stat-label">เร็วกว่า SageAttention2 บนชิป B200</span></div><div class="stat-item"><span class="stat-number">1.91x</span><span class="stat-label">ความเร็ว Nunchux Attention บน MiniMax-H3</span></div></div><p>ในการทดสอบกับโมเดลโอเพนซอร์กสำหรับวิดีโอ 4 ตัว ได้แก่ Wan2.2-T2V-A14B, LongCat-Video, HunyuanVideo-1.5 และ MiniMax-H3 พบว่าผลลัพธ์บนชิป B200 ทำให้ VC-Attention มีความเร็วสูงกว่า SageAttention2 ถึง 6.02 เท่า ส่วนบนชิป H200 ทำความเร็วได้มากกว่า 1.16 เท่า และบนการ์ดเวิร์กสเตชัน RTX PRO 6000 แบบ 4-bit V-Smooth สามารถทำผลงานได้ทัดเทียมกับ SageAttention3</p><blockquote class="pull-quote"><p>"VC-Attention เร็วกว่า SageAttention2 ถึง 6.02 เท่าบนชิป B200"</p><cite>Nunchux AI Research</cite></blockquote><div class="ai-insight"><p>การพัฒนาเคอร์เนลเฉพาะทางอย่าง VC-Attention สะท้อนให้เห็นถึงความพยายามของอุตสาหกรรม AI ในการทะลวงคอขวดด้านฮาร์ดแวร์สำหรับการประมวลผลวิดีโอ ซึ่งต้องการทรัพยากรคำนวณสูงมาก การปรับแต่งในระดับเคอร์เนลโดยไม่ต้องฝึกโมเดลใหม่ (Training-Free) ช่วยให้ผู้พัฒนาสามารถนำไปประยุกต์ใช้กับโมเดลที่มีอยู่เดิมได้ทันที ลดต้นทุนและเวลาในการพัฒนาโมเดลสร้างวิดีโอความละเอียดสูง</p></div><p>ที่มา: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/09/16/nunchux-ai-introduces-vc-attention-a-training-free-low-bit-attention-kernel-that-speeds-up-video-diffusion-transformers/" target="_blank" rel="noopener noreferrer">MarkTechPost</a></p>

<div class="key-takeaways"><ul><li>Nunchux AI launches VC-Attention, a training-free low-bit attention kernel</li><li>Significantly accelerates attention mechanisms in Video Diffusion Transformers</li><li>Tested across four open-weight video DiT models including Wan2.2 and MiniMax-H3</li><li>Achieves up to 6.02x speedup over SageAttention2 on B200 hardware</li></ul></div><p>Generating artificial intelligence video clips using Video Diffusion Transformers, or Video DiTs, often encounters heavy computational bottlenecks. A 5-second 720p clip from Wan2.2-14B expands into approximately 70,000 spatiotemporal tokens, causing attention mechanisms to consume more than 64% of generation time on an RTX 5090 graphics card. Meanwhile, researchers report that attention takes about two-thirds of every denoising step on a single B200 chip.</p><p>Although low-bit Tensor Cores accelerate the two matrix products QK and PV, two major obstacles remain. First, prior methods such as SageAttention2 smooth queries and keys, but after this smoothing and rotation, the value term accounts for 82% of output error on Wan2.2 models. Second, the softmax calculation between products continues to run in FP32, making the exponential function and its FP8 conversion the longest pipeline stages on B200 and H200 hardware.</p><p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/nunchux_ai_vc_attention_video_dits_mu52s7al_inline_1_cdb965c16c.jpg" alt="microchip hardware technology circuit board" loading="lazy" /><p class="color-gray-500 text-sm mt-10">Stock photo for illustration only, not from the actual event</p></div></p><p>To address these challenges, the research team implemented a grouping technique restricted to the first 25% of denoising steps, reusing permutations across four adjacent steps. Averaged over the full schedule, grouping incurs a cost of only 3% to 4% of attention time. Additionally, ExpCast-FP8 is employed to write bytes directly from log-domain scores, reducing error rates and enhancing processing efficiency.</p><div class="stat-row"><div class="stat-item"><span class="stat-number">6.02x</span><span class="stat-label">Faster than SageAttention2 on B200</span></div><div class="stat-item"><span class="stat-number">1.91x</span><span class="stat-label">Nunchux Attention speedup on MiniMax-H3</span></div></div><p>Testing across four open-weight video models—Wan2.2-T2V-A14B, LongCat-Video, HunyuanVideo-1.5, and MiniMax-H3—revealed that VC-Attention runs 6.02x faster than SageAttention2 on B200 chips. On H200 hardware, the performance gap reaches 1.16x, while on the RTX PRO 6000 workstation card, 4-bit V-Smooth matches the performance of SageAttention3.</p><blockquote class="pull-quote"><p>"VC-Attention is 6.02x faster than SageAttention2 on B200."</p><cite>Nunchux AI Research</cite></blockquote><div class="ai-insight"><p>The development of specialized kernels like VC-Attention highlights the AI industry's ongoing efforts to overcome hardware bottlenecks in video generation, which demands exceptionally high computational resources. By introducing a training-free optimization at the kernel level, developers can immediately integrate these improvements into existing models, significantly reducing the costs and time associated with high-resolution video generation pipelines.</p></div><p>Source: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/09/16/nunchux-ai-introduces-vc-attention-a-training-free-low-bit-attention-kernel-that-speeds-up-video-diffusion-transformers/" target="_blank" rel="noopener noreferrer">MarkTechPost</a></p>

large_nunchux-ai-เปิดตัว-vc-attention-เร่งความเร็ว-video-dits-mu52s7al.jpg

medium_nunchux-ai-เปิดตัว-vc-attention-เร่งความเร็ว-video-dits-mu52s7al.jpg

small_nunchux-ai-เปิดตัว-vc-attention-เร่งความเร็ว-video-dits-mu52s7al.jpg

thumbnail_nunchux-ai-เปิดตัว-vc-attention-เร่งความเร็ว-video-dits-mu52s7al.jpg

nunchux-ai-เปิดตัว-vc-attention-เร่งความเร็ว-video-dits-mu52s7al.jpg

Nunchux AI เผยโฉม VC-Attention เคอร์เนลความสนใจแบบ low-bit ไม่ต้องเทรดซ้ำ ช่วยเร่งความเร็วโมเดล Video Diffusion บนชิป B200 และ RTX 5090

Nunchux AI unveils VC-Attention, a training-free low-bit attention kernel designed to accelerate Video Diffusion Transformers on B200 and RTX 5090 chips.

Inewgen

Inewgen

#Video Diffusion Transformers

Nunchux AI Introduces VC-Attention for Video DiTs

Inewgen