Google Cloud เปิดตัว llm-d 1.0 สแตกโอเพนซอร์สจัดการ LLM
Google, Red Hat และ IBM ปล่อย llm-d 1.0 สแตก Kubernetes รองรับกระจายการอนุมาน LLM พร้อมระบบจัดการแคชสำหรับ TPU และ GPU
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Google, Red Hat และ IBM เปิดตัว llm-d 1.0
- เป็นสแตกแบบ Kubernetes-native สำหรับกระจายการอนุมาน LLM
- รองรับการควบคุมทิศทางการรับส่งข้อมูลแบบ cache-aware
- ทำงานร่วมกับ vLLM, SGLang, TPU และ GPU ได้อย่างไร้รอยต่อ
วงการปัญญาประดิษฐ์ก้าวไปอีกขั้นเมื่อ Google ร่วมมือกับ Red Hat และ IBM ในการประกาศปล่อยตัว llm-d 1.0 ซึ่งเป็นสแตกโอเพนซอร์สแบบ Kubernetes-native ที่ถูกออกแบบมาเพื่อการอนุมานโมเดลภาษาขนาดใหญ่หรือ LLM แบบกระจายศูนย์โดยเฉพาะ การพัฒนาครั้งนี้มุ่งเน้นการแก้ปัญหาความซับซ้อนในการจัดการทรัพยากรประมวลผลที่มีอยู่กระจัดกระจาย
ระบบดังกล่าวถูกสร้างขึ้นมาเพื่อให้องค์กรสามารถบริหารจัดการภาระงานด้าน AI ได้มีประสิทธิภาพยิ่งขึ้น โดยมีการผสานความสามารถที่หลากหลายเข้าไว้ด้วยกันเพื่อรองรับระบบคลาวด์สมัยใหม่ที่ใช้งานทั้งฮาร์ดแวร์หลากหลายค่ายและเฟรมเวิร์กที่แตกต่างกัน
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ความสามารถหลักของ llm-d 1.0 ประกอบด้วย:
- ระบบควบคุมการไหลของข้อมูลแบบ multi-tenant
- การอัปเกรดระบบแบบ zero-downtime ไม่มีสะดุด
- การกำหนดเส้นทางแบบ agent-aware routing
- รองรับการทำงานร่วมกับ vLLM, SGLang, TPU และ GPU Fleets
การเปิดตัว llm-d 1.0 สะท้อนให้เห็นถึงความพยายามของยักษ์ใหญ่ด้านเทคโนโลยีในการสร้างมาตรฐานกลางสำหรับการรัน LLM บนโครงสร้างพื้นฐานแบบคลาวด์เนทีฟ การจัดการแคชและการกระจายโหลดอย่างชาญฉลาดบนฮาร์ดแวร์ที่หลากหลาย เช่น TPU และ GPU จะช่วยลดต้นทุนการประมวลผลและเพิ่มความเร็วในการตอบสนองได้อย่างมหาศาลสำหรับแอปพลิเคชันระดับองค์กร
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น