Prime Intellect เปิดตัวบริการ Prime Inference รองรับโมเดลเปิด

Prime Intellect ได้ประกาศเปิดตัวบริการ Prime Inference ซึ่งเป็นชั้นประมวลผล (serving layer) ตัวใหม่ที่เข้ามาเติมเต็มระบบโครงสร้างพื้นฐานการฝึกอบรมแบบเปิดของบริษัทให้สมบูรณ์ยิ่งขึ้น โดยก่อนหน้านี้ทางบริษัทได้ส่งมอบเครื่องมือหลังการฝึกอบรมมาแล้วหลายตัว เช่น prime-rl, verifiers และ sandboxes การเพิ่มบริการประมวลผลในครั้งนี้จึงช่วยปิดวงจรการทำงาน ทำให้โมเดลที่ถูกปรับใช้สามารถสร้างร่องรอยข้อมูลการผลิต (production traces) เพื่อป้อนกลับเข้าสู่กระบวนการฝึกอบรมได้ทันที

ในส่วนของประสิทธิภาพการทำงาน ทางบริษัทระบุว่าจุดสิ้นสุดการเชื่อมต่อ GLM-5.3 จัดอยู่ในกลุ่มที่มีความเร็วสูงสุดบนแพลตฟอร์ม OpenRouter นอกจากนี้ยังมีอัตราความผิดพลาดในการเรียกใช้เครื่องมือเกือบเป็นศูนย์ และสามารถรักษาเวลาทำงานได้อย่างต่อเนื่อง 100% นับตั้งแต่เปิดให้บริการ

สถาปัตยกรรมเบื้องหลังระบบนี้เป็นการผสานเทคโนโลยีชั้นนำเข้าด้วยกัน ได้แก่ NVIDIA Dynamo, vLLM, Mooncake และ FlashInfer ซึ่งพัฒนาขึ้นร่วมกับ Inferact และ NVIDIA พร้อมทั้งมีการส่งมอบโค้ดแก้ไขกลับไปยังต้นน้ำ (upstream) ด้วย เป้าหมายหลักของระบบคือการรองรับภาระงานประเภท Agentic ซึ่งในหนึ่งรอบการทำงานของเอเจนต์ (agent turn) จะเพิ่มโทเค็นเข้ามาประมาณ 6,000 โทเค็น บนชุดคำสั่งเริ่มต้นที่มีขนาดถึง 140,000 โทเค็น โดยทาง Prime ได้ทำการทดสอบประสิทธิภาพผ่านการจำลองร่วมกับ SemiAnalysis AgentX และการจำลองภาระงานเข้ามาแบบฉับพลัน

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

เทคโนโลยีเบื้องหลังที่สำคัญประกอบด้วยการแยกส่วนการประมวลผลระหว่าง Prefill และ Decode ออกจากกัน โดยรันบนกลุ่ม GPU ที่แยกจากกันอย่างชัดเจน ซึ่ง Dynamo ทำหน้าที่ในการจัดเส้นทางคำขอ ส่วน vLLM ทำหน้าที่รันโมเดลในแต่ละกลุ่ม และตัวถอดรหัสจะดึงค่า KV ที่คำนวณแล้วผ่าน NIXL ส่งผลให้ผลการทดสอบแสดงให้เห็นว่าความหน่วง p90 inter-token ลดลงเกือบ 40%