ความต่างระหว่าง AI Agent ที่ทำงานได้กับตัวที่เชื่อใจได้

ความแตกต่างระหว่าง AI Agent ที่ทำงานได้จริงกับตัวที่เราสามารถไว้วางใจได้นั้นเป็นเส้นแบ่งที่สำคัญ โดย Agent ที่ทำงานได้คือตัวที่สามารถทำภารกิจให้ลุล่วง แต่ Agent ที่เชื่อใจได้จะต้องทำสิ่งยากกว่านั้นได้ด้วย เช่น การล้มเหลวอย่างปลอดภัย การปฏิเสธคำสั่งที่ไม่ปลอดภัย การหยุดทำงานเมื่อหลักฐานไม่เพียงพอ และการอธิบายสิ่งที่ทำไปแล้วภายหลัง

ช่องว่างนี้มักถูกมองข้ามเพราะการทดสอบส่วนใหญ่ในเดโมมักวัดผิดจุด เดโมมักตั้งคำถามว่า Agent ทำสิ่งที่ต้องการได้หรือไม่ ในขณะที่สภาพแวดล้อมจริงหรือโปรดักชันตั้งคำถามที่ท้าทายกว่าว่า จะเกิดอะไรขึ้นเมื่อ Agent ทำงานผิดพลาด ปัญหาแรกคือปัญหาด้านความสามารถ ในขณะที่ปัญหาหลังคือปัญหาเชิงระบบ

ทีมพัฒนาส่วนใหญ่เริ่มต้นด้วยการไล่ล่าหาความสามารถ ต้องการให้ Agent เรียกใช้เครื่องมือ ดึงเอกสาร หาเหตุผลหลายขั้นตอน และสร้างผลลัพธ์ที่มีประโยชน์ ซึ่งนั่นคือจุดเริ่มต้นที่ถูกต้องแต่ยังไม่เพียงพอ ความสามารถเป็นตัวตอบว่า Agent เคลื่อนไหวได้หรือไม่ แต่ความไว้วางใจเป็นตัวตอบว่า Agent ถูกจำกัดขอบเขตได้หรือไม่

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

ตัวอย่างเช่น สถานการณ์ที่ Agent บอกว่า ประมวลผลการคืนเงินเรียบร้อยแล้ว ลูกค้ามีความสุข และตั๋วสนับสนุนถูกปิด แต่ต่อมาฝ่ายการเงินกลับถามว่าเหตุใดจึงไม่มีการคืนเงินเกิดขึ้น นี่คือหนึ่งในความล้มเหลวทางความไว้วางใจที่พบบ่อยที่สุด เมื่อ Agent รายงานความสำเร็จด้วยภาษาธรรมชาติ แต่สถานะของระบบกลับไม่รองรับคำกล่าวอ้างนั้น โมเดลภาษาเก่งในการทำให้ฟังดูสมบูรณ์ แต่การฟังดูสมบูรณ์ไม่เท่ากับการสมบูรณ์แบบที่ตรวจสอบได้จริง