หยุดยัดข้อความทุกอย่างลง Context Window ของ LLM Agent ด้วยระบบ Structured Memory จาก Mem0

บทเรียนส่วนใหญ่เกี่ยวกับการเพิ่มความจำให้ LLM Agent มักจะแสดงตัวโค้ดแบบเดิมๆ เพียงสามบรรทัด เช่น การใช้คำสั่ง m = Memory() ตามด้วย m.add() และ m.search() วิธีนี้ใช้ได้ดีในระดับเดโม แต่จะพังไม่เป็นท่าเมื่อนำไปใช้กับ Agent จริงที่ต้องรันต่อเนื่องนานหลายสัปดาห์ เนื่องจากระบบปฏิบัติต่อทุกข้อเท็จจริงว่ามีความสำคัญและคงอยู่ถาวรเท่ากันหมด ในความเป็นจริง Agent จะสะสมความจำอย่างน้อย 4 ประเภทที่สลายตัว ถูกเรียกค้น และหมดอายุในรูปแบบที่ต่างกันโดยสิ้นเชิง หากเก็บข้อมูลทั้งหมดด้วยวิธีเดียวกัน จะส่งผลให้เกิดปัญหาใหญ่สองอย่างคือ Agent อ่านสถานะโปรเจกต์ที่เก่าไปแล้วว่าเป็นเรื่องจริง หรือหน้าต่าง Context Window เต็มไปด้วยเรื่องไม่สำคัญทุกครั้งที่มีการเรียกค้นข้อมูล

บทความนี้จะพาไปดูตัวอย่างการใช้สกีมาความจำแบบระบุชนิด (typed memory schema) บน Mem0 พร้อมโค้ดที่ใช้งานได้จริงเพื่อแก้ปัญหาทั้งสองจุด สมมติว่า Agent ของคุณเป็นผู้ช่วยเขียนโค้ดที่ทำงานข้ามเซสชันบนคลังโค้ดเดิม ตลอดระยะเวลาหลายสัปดาห์มันจะได้เรียนรู้ข้อมูลหลากหลายรูปแบบ

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

แม้ข้อมูลเหล่านี้จะดูคล้ายกันในรูปของข้อความ แต่วิธีการทำงานของมันต่างกันอย่างสิ้นเชิง การเรียกคำสั่งแบบแบนราบอย่าง memory.add(text) ไม่สามารถระบุความแตกต่างเหล่านี้ได้ เมื่อคุณเรียกใช้คำสั่ง search() ในภายหลัง การจัดอันดับความเกี่ยวข้องของ Mem0 จะดึงบันทึกเรื่องกำหนดส่งงานเมื่อสามสัปดาห์ก่อนขึ้นมาปะปนกับค่าความชอบถาวรของผู้ใช้ได้อย่างหน้าตาเฉย เนื่องจากทั้งคู่มีความคล้ายคลึงทางความเหมือนของข้อความกับคำค้นหาของคุณ

ฟังก์ชัน add() ของ Mem0 รองรับการใส่ metadata แบบกำหนดเองได้ และคำสั่ง search() กับ get_all() ก็รองรับการกรองข้อมูลผ่านส่วนนี้เช่นกัน ซึ่งเพียงพอสำหรับการสร้างระบบประเภทข้อมูลน้ำหนักเบาโดยไม่ต้องแก้ไขโค้ดภายในของ Mem0 เลย หน่วยความจำประเภทสถานะโปรเจกต์คือตัวการสำคัญที่ทำให้เกิดบั๊กเมื่อข้อมูลล้าสมัย เนื่องจาก Mem0 ไม่มีระบบลบความจำอัตโนมัติ คุณจึงต้องสร้างกลไกการหมดอายุลงในเส้นทางการอ่านข้อมูล (read path) ไม่ใช่แค่ที่เส้นทางการเขียนข้อมูล (write path) เท่านั้น

ความไม่มีประสิทธิภาพที่ใหญ่ที่สุดในการใช้งาน Mem0 คือการเรียกคำสั่ง search() หนึ่งครั้งต่อหนึ่งเทิร์น ด้วยข้อความดิบของผู้ใช้เป็นคำค้นหาที่ค่าเริ่มต้น top_k สำหรับความจำทุกประเภท ซึ่งเท่ากับการค้นหาแบบเวกเตอร์ 3-4 ครั้งและดึงข้อความขนาดหลายกิโลไบต์ต่อหนึ่งเทิร์น

การแบ่งหน่วยความจำตามประเภทแทนที่จะใช้ที่เก็บข้อมูลแบบแบนราบ ให้ผลลัพธ์ที่ชัดเจนสามประการใน Agent เขียนโค้ดระยะยาวของผู้เขียน ได้แก่ การหยุดอ่านบันทึกงานที่กำลังทำอยู่ซึ่งล้าสมัยไปแล้วให้กลายเป็นข้อความปัจจุบัน, ช่วยให้การแก้ไขพฤติกรรมทำงานได้อย่างสม่ำเสมอ และลดจำนวนโทเค็นความจำที่ดึงมาใช้ต่อเทิร์นลงประมาณ 40% โดยการเปิดให้ระบบหมดอายุและการแคชข้อมูลสามารถทำงานได้ตั้งแต่แรก ทั้งหมดนี้ไม่ต้องพึ่งพาเครื่องมืออื่นใดนอกจากที่ mem0ai มีให้อยู่แล้ว นั่นคือ metadata และตัวกรอง

ที่มา: Dev.to