LEANN: ดัชนีเวกเตอร์โอเพนซอร์สบีบ RAG จาก 201GB เหลือ 6GB

นักวิจัยจาก UC Berkeley ได้เปิดตัว LEANN ซึ่งเป็นดัชนีเวกเตอร์แบบโอเพนซอร์สที่ถูกออกแบบมาเพื่อแก้ปัญหาการใช้หน่วยความจำมหาศาลในการประมวลผลระบบ Retrieval-Augmented Generation (RAG) ขนาดใหญ่ โดยนวัตกรรมนี้สามารถบีบอัดขนาดดัชนีของข้อมูล 60 ล้านชิ้น จากเดิมที่เคยใช้พื้นที่สูงถึง 201 GB ให้ลดลงเหลือเพียง 6 GB เท่านั้น

หลักการทำงานของ LEANN อาศัยแนวคิดในการจัดเก็บกราฟที่ถูกตัดแต่ง (pruned graph) ร่วมกับการคำนวณค่าเอ็มเบดเดิงใหม่ (recomputes embeddings) ในช่วงเวลาที่มีการส่งคำค้นหา (query time) แทนที่จะต้องเก็บเวกเตอร์ทั้งหมดไว้ในหน่วยความจำตลอดเวลาเหมือนวิธีดั้งเดิม ซึ่งช่วยประหยัดทรัพยากรฮาร์ดแวร์ได้อย่างมหาศาลโดยไม่สูญเสียประสิทธิภาพในการค้นหาข้อมูลเชิงลึก

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

ในด้านประสิทธิภาพการทำงาน ผลการทดสอบระบุว่า LEANN สามารถรักษาความแม่นยำเทียบเท่ากับวิธี HNSW (Hierarchical Navigable Small World) ที่ระดับการเรียกคืนข้อมูล (recall) 90% โดยใช้พื้นที่หน่วยความจำเพียง 4 GB เท่านั้น เปรียบเทียบกับวิธีเดิมที่ต้องใช้พื้นที่สูงถึง 188 GB

อย่างไรก็ตาม การแลกเปลี่ยนที่เกิดขึ้นจากการใช้งาน LEANN คือความเร็วในการค้นหาที่ลดลงมาอยู่ในระดับวินาที (seconds-level search) เนื่องจากกระบวนการคำนวณเอ็มเบดเดิงใหม่ ณ เวลาที่ค้นหาต้องใช้เวลาประมวลผลเพิมเติม แต่นั่นก็แลกมาด้วยการประหยัดพื้นที่จัดเก็บข้อมูลอย่างก้าวกระโดดที่เปิดโอกาสให้องค์กรขนาดเล็กสามารถเข้าถึงระบบ RAG ขนาดใหญ่ได้ง่ายขึ้น

ที่มา: MarkTechPost