Stop Guessing: สร้าง Clarification Gate แก้ปัญหา Text-to-SQL
เจาะลึกแนวทางวิศวกรรมเพื่อแก้ปัญหา Text-to-SQL Agents ตัดสินใจเลือกความหมายธุรกิจเองโดยพลการ ด้วยระบบ Clarification Gate และการจัดการความไม่แน่นอน
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Text-to-SQL agents อาจคืนค่าข้อมูลที่ผิดพลาดได้แม้ SQL จะถูกต้องสมบูรณ์
- การให้ LLM คาดเดาความหมายทางธุรกิจเองถือเป็นการตัดสินใจที่ไม่มีการอนุมัติ
- ระบบ Clarification Gate ช่วยแยกแยะสถานะเป็น RESOLVED, AMBIGUOUS และ UNSUPPORTED
- การถามผู้ใช้ควรเป็นทางเลือกธุรกิจที่จำกัดขอบเขตชัดเจน ไม่ใช่คำถามปลายเปิด
ในระบบฐานข้อมูลระดับองค์กร คำถามหนึ่งข้ออาจมีความหมายทางธุรกิจซ่อนอยู่ได้หลายแบบ เช่น หากองค์กรมีมาตรการวัดรายได้ 3 รูปแบบ ได้แก่ รายได้จากการจอง (Booked revenue) รายได้จากการออกใบแจ้งหนี้ (Invoiced revenue) และรายได้ที่รับรู้แล้ว (Recognized revenue) Agent ทั่วไปอาจดึงข้อมูลบางคอลัมน์ สุ่มเลือกขึ้นมาหนึ่งตัว สร้างชุดคำสั่ง SQL และคืนค่าผลลัพธ์เป็นเงิน 12.8 ล้านยูโร โดยที่ผู้ใช้ไม่ได้ตั้งใจให้เลือกคอลัมน์นั้น
ปัญหาดังกล่าวต่างจากการสร้างตารางที่ไม่ทีอยู่จริง เนื่องจากโมเดลอาจใช้ข้อมูลจริงที่มีอยู่ทั้งหมดและให้ตัวเลขที่ดูสมเหตุสมผล แต่มีความหมายผิดเพี้ยนไปจากที่ควรจะเป็น แนวทางแก้ไขทางวิศวกรรมจึงไม่ใช่แค่การสั่งให้ LLM ระมัดระวังมากขึ้น แต่เป็นการสร้างตัวกลางอย่าง Clarification Gate ขั้นมาระหว่างขั้นตอนการแปลความหมายทาง semantic และการรันคำสั่ง SQL
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
สถาปัตยกรรมที่เสนอประกอบด้วยการจัดการความไม่แน่นอนให้เป็นสถานะหลัก (First-class state) โดยตัววางแผนคำถามควรคืนค่าสถานะใดสถานะหนึ่งจาก 3 แบบ ได้แก่:
- RESOLVED: มีหลักฐานที่ได้รับการควบคุมเพียงพอที่จะดำเนินการต่อ
- AMBIGUOUS: มีการตีความที่ถูกต้องแต่ขัดแย้งกันหลายแบบ
- UNSUPPORTED: มีหลักฐานไม่เพียงพอหรือข้อมูลไม่พร้อมใช้งาน
แนวคิดเรื่อง Clarification Gate สะท้อนให้เห็นข้อจำกัดสำคัญของ Generative AI ในงานระดับองค์กร ที่ความถูกต้องทางไวยากรณ์ (Syntax) ไม่เท่ากับความถูกต้องทางธุรกิจ (Semantics) การปล่อยให้โมเดลคาดเดาเจตนาของผู้ใช้ผ่านคะแนน Embedding สูงๆ มักนำไปสู่ความผิดพลาดที่ตรวจจับได้ยาก การบังคับให้ระบบหยุดถามหรือเลือกค่าตามนโยบายกำกับดูแล (Governance policy) จึงเป็นหัวใจสำคัญของระบบ AI ที่ใช้งานได้จริงในภาคธุรกิจ
ในส่วนของการจัดการแนวคิดก่อนเลือกคอลัมน์ ระบบจะต้องเริ่มต้นจากชุดข้อมูล semantic candidate แทนที่จะเป็นคอลัมน์เดี่ยวๆ พร้อมกับแยกแยะระหว่างความเกี่ยวข้อง (Relevance) และอำนาจอนุมัติ (Authority) ออกจากกัน โดยอาศัย Vector similarity เพื่อค้นหาความหมายที่ผู้ใช้อาจต้องการ ผสมผสานกับนโยบายควบคุมเพื่อดูว่าค่าใดได้รับอนุมัติให้เป็นค่าเริ่มต้น และใช้ระบบคัดกรองเพื่อตัดสินใจเลือกทางเลือกที่ยังไม่ชัดเจน
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น