NVIDIA เปิดตัว Nemotron 3.5 Lightning โมเดล MoE และ NeMo Switchyard

การทำงานของเอเจนต์ที่รันระยะยาวมักใช้เวลาส่วนใหญ่ไปกับการประมวลผลปริมาณมาก ไม่ว่าจะเป็นการเรียกใช้เครื่องมือ การตรวจสอบผลลัพธ์ และการมอบหมายงานให้ซับเอเจนต์ ซึ่งกระบวนการเหล่านี้กินงบประมาณโทเค็นจำนวนมหาศาล การส่งคำขอทุกขั้นตอนไปยังโมเดลการใช้เหตุผลระดับแนวหน้าจึงเพิ่มทั้งต้นทุนและเวลาในการตอบสนอง

ทาง NVIDIA จึงได้พัฒนา Nemotron 3.5 Lightning ขึ้นมาเพื่อตอบโจทย์ในชั้นการประมวลผลนี้ โดยเป็นโมเดลแบบ mixture-of-experts ขนาด 30 พันล้านพารามิเตอร์ที่มีพารามิเตอร์ทำงานจริง 3 พันล้านพารามิเตอร์ สร้างขึ้นบนสถาปัตยกรรมลูกผสมระหว่าง Mamba-2, MoE และ Attention พร้อมรองรับความยาวบริบทถึง 1,000,000 โทเค็น ผ่านการฝึกอบรมล่วงหน้าด้วยข้อมูลมากกว่า 20 ล้านล้านโทเค็นด้วยสูตร NVFP4

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

โมเดลตัวนี้ถือเป็นสมาชิกที่มีขนาดเล็กที่สุดในตระกูล Nemotron 3 โดยมีโมเดลระดับแนวหน้าอย่าง Nemotron 3 Ultra ทำหน้าที่จัดการและวางแผนภาพรวม ขณะที่รุ่น Lightning จะคอยจัดการงานเรียกใช้งานประจำวันที่อยู่เบื้องล่าง ทาง NVIDIA ระบุว่าโมเดลมีความเร็วในการสร้างเอาต์พุตเร็วกว่าโมเดลขนาดใกล้เคียงกันถึง 4 เท่า บนชุดทดสอบ PinchBench ทำคะแนนความแม่นยำได้ 86% และทำงานสำเร็จ 10,000 งานเร็กว่ารุ่น Qwen3.6 35B ถึง 30% ที่ระดับความแม่นยำใกล้เคียงกัน

นอกจากนี้ ทางบริษัทยังได้เปิดตัว NeMo Switchyard ซึ่งเป็นไลบรารีโอเพนซอร์สทำหน้าที่จัดเส้นทางแต่ละขั้นตอนของเวิร์กโฟลว์เอเจนต์ไปยังโมเดลที่มีความสามารถและมีประสิทธิภาพมากที่สุด โดยมีเราเตอร์แบบไม่ต้องจูนหลากหลายแบบ เช่น ตัวจำแนกประเภท LLM พร้อมการเก็บสถานะเซสชัน เราเตอร์ตามขั้นตอนที่อ่านกิจצกรรมเครื่องมือล่าสุด และเราเตอร์แบบยกระดับที่เริ่มต้นจากรุ่นต้นทุนต่ำแล้วขยับขึ้นเมื่อเจอความยากต่อเนื่อง

ที่มา: MarkTechPost