Redis LangCache เปิดตัวซีแมนติกแคชช่วยลดต้นทุน LLM API
Redis เปิดตัว LangCache ในรูปแบบ public preview บน Redis Cloud ช่วยลดต้นทุน LLM API ได้สูงสุด 90% และตอบสนองเร็วขึ้น 15 เท่า
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Redis เปิดตัว LangCache บน Redis Cloud ในรูปแบบ public preview
- ช่วยลดต้นทุน LLM API ได้สูงสุด 90% และเพิ่มความเร็วได้สูงสุด 15 เท่า
- ทำงานร่วมกับโมเดลภาษาและผู้ให้บริการ LLM ได้ทุกค่าย
- รองรับการควบคุมความคล้ายคลึง, TTL และนโยบายการจัดเก็บข้อมูล
Redis ได้ประกาศเปิดตัว Redis LangCache บริการซีแมนติกแคชแบบจัดการเอง (managed semantic cache) ที่ออกแบบมาเพื่อช่วยเหล่านักพัฒนาและองค์กรในการประหยัดต้นทุนค่าใช้งาน Large Language Model (LLM) API พร้อมทั้งเพิ่มความเร็วในการตอบสนองคำขอ โดยในปัจจุบันบริการดังกล่าวเปิดให้ใช้งานในรูปแบบ public preview บน Redis Cloud ผ่าน REST API พร้อมรองรับชุดพัฒนาซอฟต์แวร์ (SDK) ทั้งภาษา Python และ JavaScript
ในงานบริการดูแลระบบ AI ทั่วไป คำถามที่ถูกส่งเข้ามาจากผู้ใช้งานมักจะมีรูปแบบการพิมพ์ที่แตกต่างกันออกไป แต่ให้ผลลัพธ์หรือคำตอบที่เป็นเรื่องเดียวกัน หากไม่มีระบบแคชที่มีความฉลาดเชิงความหมาย ระบบจะต้องทำการประมวลผลคำขอใหม่ทั้งหมดตั้งแต่ต้น ไม่ว่าจะเป็นการประมวลผล token ขาเข้า การถอดรหัส token ขาออก รวมถึงเวลาที่ผู้ใช้งานต้องรอคอยคำตอบ
เทคโนโลยีการแคชแบบเดิมอย่าง prefix caching จะช่วยลดต้นทุนได้เพียงบางส่วนเท่านั้น เนื่องจากตัวระบบจะนำสถานะ KV ที่คำนวณไว้ล่วงหน้ากลับมาใช้ใหม่เฉพาะส่วนที่เป็นข้อความตั้งต้น (system prompt หรือ context) แต่คำขอก็ยังคงถูกส่งไปถึง LLM และยังต้องประมวลผล token ใหม่ทั้งหมดอยู่ดี ต่างจากการทำงานของ LangCache ที่ดึงเอาแคชออกไปอยู่นอกตัวโมเดลและจัดเก็บคำตอบที่สร้างเสร็จแล้วไว้โดยตรง
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
สถาปัตยกรรมของ LangCache จะทำงานผ่านลูปแบบสองคลังคำสั่ง โดยบริการจะทำหน้าที่จัดการสร้าง embedding ให้โดยอัตโนมัติ ซึ่งผู้ใช้งานสามารถเลือกใช้โมเดลพื้นฐานหรือนำโมเดลของตนเองมาใช้งานก็ได้ การควบคุมพฤติกรรมของแคชทำได้ผ่านเกณฑ์ความคล้ายคลึง (similarity thresholds), ค่า TTL (Time-to-Live), นโยบายการกำจัดข้อมูล (eviction policies) และระบบควบคุมแบบปรับตัวที่ช่วยปรับแต่งความแม่นยำ
จากการทดสอบเดโมที่มีการเปรียบเทียบเส้นทางการทำงานระหว่างคำถามที่มีการเรียบเรียงใหม่ พบว่าการประมวลผลโดยตรงแบบดั้งเดิมใช้เวลาไป 2.232 วินาที และบริโภค input token ไป 514 token กับ output token อีก 250 token ในขณะที่การเรียกใช้งานผ่าน LangCache สามารถดึงคำตอบเดิมกลับมาได้ภายในเวลาเพียง 0.37 วินาที โดยไม่มีการใช้ input หรือ output token ของ LLM เพิ่มเติมเลย ซึ่งคิดเป็นความเร็วที่เพิ่มขึ้นประมาณ 6 เท่าในรอบการทดสอบนั้น
การใช้งานซีแมนติกแคชเช่น Redis LangCache ถือเป็นก้าวสำคัญสำหรับองค์กรที่ต้องการปรับลดค่าใช้จ่ายด้านโครงสร้างพื้นฐาน AI เนื่องจากต้นทุนการเรียก API ของ LLM มักจะเติบโตอย่างรวดเร็วตามจำนวนผู้ใช้งาน การเก็บแคชคำตอบที่มีความหมายตรงกันช่วยตัดทอนกระบวนการคำนวณที่ซ้ำซ้อนออกไปได้เกือบทั้งหมด อย่างไรก็ตาม ทีมพัฒนาต้องออกแบบเกณฑ์การตัดสินใจ (thresholds) ให้รัดกุม เพื่อป้องกันไม่ให้ระบบนำคำตอบของคำถามหนึ่งไปตอบให้อีกคำถามที่มีบริบทต่างกันโดยไม่ตั้งใจ
ในด้านผลลัพธ์การประหยัดต้นทุน ทาง Redis ได้ระบุตัวเลขคาดการณ์ผ่านการประกาศ public preview ว่าระบบสามารถช่วยลดการใช้ token ลงได้สูงสุด 70% และเพิ่มความเร็วในการตอบกลับได้สูงสุด 15 เท่า ขณะที่หน้าผลิตภัณฑ์ปัจจุบันระบุตัวเลขการประหยัดสูงสุดถึง 90% นอกจากนี้ ลูกค้าอย่าง Mangoes.ai ซึ่งเป็นผู้พัฒนาแอปพลิเคชันดูแลผู้ป่วยด้วยเสียง ยังได้รายงานอัตราการทำแคชสำเร็จ (hit rate) สูงถึง 70% ซึ่งช่วยลดค่าใช้จ่ายด้าน LLM ลงได้ 70% และทำให้ระบบตอบสนองได้เร็วขึ้น 4 เท่า
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น