Kinference: Open Source Inference Control Plane เปิดตัวแล้ว
Buoyant เปิดตัว Kinference ระบบควบคุมการอนุมานแบบโอเพนซอร์ส Apache 2.0 สำหรับ vLLM บน Kubernetes พร้อมชูจุดเด่นลดเวลา TTFT ลงถึง 95%
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Buoyant เปิดตัว Kinference ระบบควบคุมการอนุมานแบบโอเพนซอร์สบน Kubernetes
- รองรับไลเซนส์ Apache 2.0 สำหรับใช้งานร่วมกับ vLLM โดยเฉพาะ
- มาพร้อมนโยบายการจัดเส้นทางแบบประกาศและบาลานซ์โหลดรับรู้ KV-cache
- ผลการทดสอบชี้ช่วยลดค่ามัธยฐาน TTFT ลงได้ถึง 95% ในระบบของ Buoyant
บริษัท Buoyant ได้ประกาศเปิดตัว Kinference ซึ่งเป็นระบบควบคุมการอนุมาน (inference control plane) แบบโอเพนซอร์สที่ใช้ไลเซนส์ Apache 2.0 ออกแบบมาเพื่อใช้งานร่วมกับ vLLM บนระบบ Kubernetes โดยเฉพาะ เพื่อช่วยให้องค์กรต่างๆ สามารถจัดการและควบคุมปริมาณงานปัญญาประดิษฐ์ได้อย่างมีประสิทธิภาพมากยิ่งขึ้น
ระบบดังกล่าวถูกพัฒนาขึ้นมาเพื่อตอบโจทย์ความท้าทายในการบริหารจัดการโมเดลภาษาขนาดใหญ่ (LLM) บนโครงสร้างพื้นฐานคลาวด์เนทีฟ โดยมีความสามารถหลักในการกำหนดนโยบายการจัดเส้นทางแบบประกาศ (declarative routing policies) พร้อมระบบกระจายโหลดที่รับรู้ถึงแคชของคีย์-แวลู (KV-cache-aware load balancing) รวมถึงการเก็บตัวชี้วัดการใช้งานแยกตามผู้เช่าแต่ละราย (per-tenant metrics)
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในส่วนของประสิทธิภาพการทำงาน ทาง Buoyant ได้ระบุว่าจากการทดสอบภายในของบริษัท ระบบ Kinference สามารถช่วยลดค่ามัธยฐานของเวลาในการสร้างโทเค็นแรก (median Time to First Token หรือ TTFT) ลงไปได้มากถึง 95% ซึ่งถือเป็นการปรับปรุงประสิทธิภาพที่สำคัญสำหรับการให้บริการแอปพลิเคชัน AI แบบเรียลไทม์
การควบคุมการอนุมานหรือ Inference Control Plane ถือเป็นหัวใจสำคัญในการจัดการระบบ LLM ในระดับโปรดักชัน เนื่องจากช่วยจัดการเรื่องการกำหนดเส้นทางคำขอและการจัดสรรหน่วยความจำ KV-cache ซึ่งส่งผลโดยตรงต่อความเร็วในการตอบสนองและความคุ้มค่าในการใช้ทรัพยากร GPU การที่ Buoyant นำความเชี่ยวชาญด้าน Service Mesh มาต่อยอดเป็นเครื่องมือเฉพาะทางสำหรับ vLLM บน Kubernetes จึงช่วยลดความซับซ้อนในการปรับแต่งระบบโครงสร้างพื้นฐาน AI ขององค์กรได้เป็นอย่างดี
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น