Tsinghua เปิดตัว AKV ระบบจัดการ KV cache สำหรับ LLM agents
ทีมนักวิจัย Tsinghua เปิดตัว AKV ระบบเซิร์ฟเวอร์โอเพนซอร์สบน SGLang ช่วยลดต้นทุนเฉลี่ย 27.7% ผ่าน 4 เกณฑ์มาตรฐาน agent
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Tsinghua เปิดตัว AKV ระบบเซิร์ฟเวอร์โอเพนซอร์สบน SGLang สำหรับ cache engineering
- LLM agents ใช้การจัดการ KV cache แทนการสรุปประวัติเพื่อเพิ่มประสิทธิภาพ
- ช่วยลดต้นทุนการทำงานเฉลี่ยลง 27.7% จากการทดสอบผ่าน 4 เบนช์มาร์ก
ทีมนักวิจัยจากมหาวิทยาลัยซิงหัว (Tsinghua University) ได้สร้างความฮือฮาให้กับวงการปัญญาประดิษฐ์อีกครั้งด้วยการเปิดตัว AKV ซึ่งเป็นระบบเซิร์ฟเวอร์โอเพนซอร์ส (open-source serving system) ที่พัฒนาต่อยอดมาจาก SGLang โดยออกแบบมาเพื่อจัดการงานวิศวกรรมแคช (cache engineering) สำหรับ LLM agents โดยเฉพาะ
ในปัจจุบัน ระบบปัญญาประดิษฐ์แบบเอเจนต์มักประสบปัญหาเรื่องต้นทุนและเวลาในการประมวลผลเมื่อต้องจัดการกับบริบทที่มีขนาดยาวขึ้นเรื่อย ๆ ระหว่างการสนทนาหรือการปฏิบัติงานหลายขั้นตอน ซึ่งวิธีการแบบเดิมมักพึ่งพากลไกการสรุปประวัติการสนทนา (summarizing history) แต่ระบบ AKV ได้เข้ามาเปลี่ยนแนวคิดดังกล่าวอย่างสิ้นเชิง
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
จุดเด่นสำคัญของ AKV คือความสามารถในการอนุญาตให้ LLM agents สามารถทิ้ง (drop) และย้ายตำแหน่ง (reposition) ข้อมูลในส่วนของ KV cache ได้โดยตรง แทนที่จะเสียเวลาและทรัพยากรไปกับการสร้างสรุปข้อมูลย้อนหลัง ทำให้กระบวนการทำงานมีความยืดหยุ่นและรวดเร็วยิ่งขึ้นอย่างเห็นได้ชัด
การทำ cache engineering ถือเป็นหัวใจสำคัญในการเพิ่มประสิทธิภาพของ Large Language Models โดยเฉพาะในยุคที่เอเจนต์ต้องทำงานซับซ้อนหลายรอบ (multi-turn tasks) การจัดการ KV cache โดยตรงช่วยลดภาระการคำนวณซ้ำซ้อนในหน่วยความจำได้อย่างมหาศาล ซึ่งเป็นแนวทางที่กำลังได้รับความสนใจอย่างมากในหมู่นักพัฒนาโครงสร้างพื้นฐาน AI ระดับโลก
จากการทดสอบประสิทธิภาพผ่านชุดเกณฑ์มาตรฐานสำหรับเอเจนต์จำนวน 4 รายการ (agent benchmarks) ผลปรากฏว่าระบบ AKV สามารถช่วยลดต้นทุนเฉลี่ยในการประมวลผลลงได้ถึง 27.7% ซึ่งถือเป็นก้าวสำคัญในการเพิ่มความคุ้มค่าให้กับองค์กรที่ต้องการพัฒนาและใช้งาน LLM agents ในสเกลที่ใหญ่ขึ้น
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น