Architect เปิดตัว Liquid Inference ประมูล LLM แบบเรียลไทม์
Architect Financial Technologies เปิดตัว Liquid Inference ตลาดกลาง LLM inference ที่เปิดให้ผู้ให้บริการประมูลตอบสนองแต่ละคำขอแบบเรียลไทม์
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Architect Financial Technologies เปิดตัว Liquid Inference ซึ่งเป็น LLM router รูปแบบใหม่
- ระบบทำงานโดยจัดประมูลสดสำหรับทุกคำขอพรอมป์จากผู้ใช้งาน
- ผู้ซื้อจะชำระเงินในราคาเสนอที่ต่ำที่สุดซึ่งผ่านเกณฑ์ที่กำหนด
- นักพัฒนาสามารถใช้งานได้ง่ายเพียงแค่เปลี่ยน base URL ของระบบ
บริษัท Architect Financial Technologies ได้เปิดตัวบริการใหม่ในชื่อ Liquid Inference ซึ่งทำหน้าที่เป็น LLM router โดยมีกลไกสำคัญคือการรันการประมูลแบบสดๆ สำหรับทุกๆ คำขอที่เข้ามาในระบบ
แนวคิดหลักของ Liquid Inference คือการสร้างตลาดกลางสำหรับ LLM inference โดยเปิดโอกาสให้ผู้ให้บริการระบบปัญญาประดิษฐ์ต่างๆ เข้ามาเสนอราคาแข่งขันกันเพื่อให้บริการในแต่ละคำขอพรอมป์ (prompt) ที่ถูกส่งเข้ามา
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในแง่ของกระบวนการทำงาน ระบบจะคัดเลือกข้อเสนอที่คุ้มค่าที่สุดให้กับฝั่งผู้ซื้อ โดยผู้ซื้อจะจ่ายเงินในอัตราข้อเสนอที่ต่ำที่สุดแต่ยังคงสามารถตอบสนองตามกฎเกณฑ์และเงื่อนไขที่ตั้งเอาไว้ได้
การนำระบบประมูลแบบเรียลไทม์มาใช้กับ LLM inference ถือเป็นแนวทางที่น่าสนใจในการแก้ปัญหาต้นทุนการประมวลผล AI ที่มักจะมีราคาสูง การให้ผู้ให้บริการแข่งกันเสนอราคาแบบนัดต่อนัดช่วยให้ตลาดมีความยืดหยุ่นและช่วยลดภาระค่าใช้จ่ายให้กับนักพัฒนาซอฟต์แวร์ได้อย่างมีประสิทธิภาพ
สำหรับกลุ่มนักพัฒนาซอฟต์แวร์แล้ว การเชื่อมต่อระบบนี้ถือว่ามีความเรียบง่ายเป็นอย่างมาก โดยมีขั้นตอนเพียงแค่ทำการเปลี่ยน base URL ของระบบเดิมมาเป็นของ Liquid Inference ก็สามารถเริ่มต้นใช้งานกลไกการประมูลนี้ได้ทันที
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น