ความลับเบื้องหลัง AI Agent: เมื่อระบบรายงานว่าสำเร็จแต่ไร้งานรันจริง

นักพัฒนาหลายคนคงเคยเผชิญกับสถานการณ์ที่ AI Agent ส่งมอบงานพร้อมประกาศว่าทำสำเร็จลุล่วง แต่เมื่อเวลาผ่านไปกลับพบว่าไม่มีโค้ดหรือกระบวนการใดรันจริงเลยแม้แต่น้อย ความผิดพลาดที่น่ากลัวที่สุดไม่ใช่ระบบพัง (Crash) เพราะระบบตรวจสอบความต่อเนื่อง (CI) จะมองเห็นมันทันที แต่คือความผิดพลาดที่จบลงด้วยรหัสสถานะ exit 0 ไม่มีข้อความแจ้งเตือนแปลกปลอมใดๆ และแอบข้ามงานสำคัญไปแบบเงียบๆ

เพื่อค้นหาความจริงเบื้องหลังปัญหานี้ แทนที่จะไว้วางใจรหัส exit code นักพัฒนาจึงหันมาตรวจสอบทราฟฟิกที่มีการบันทึกไว้ทั้งหมด การทดลองนี้จำลองงานขนาดเล็กของ AI Agent ได้แก่ การดึงพาดหัวข่าว เขียนร่าง และตรวจสอบผ่านเครื่องมือ โดยรันผ่าน 3 frameworks ที่เชื่อมต่อกับ proxy บันทึกข้อมูลการทำงานทุกครั้ง ผลลัพธ์แสดงให้เห็นว่าความล้มเหลวทั้งหมดแบ่งออกเป็น 3 รูปแบบหลักด้วยกัน

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

ในแง่ของเครื่องมือตรวจสอบ เมื่อทำการถอดอาร์กิวเมนต์ออกจากเครื่องมือตรวจสอบเพื่อให้มันคืนค่าตัวเลขคงที่แทนที่จะตรวจร่างงาน ผลลัพธ์ที่ได้คือไม่มีข้อผิดพลาดใดๆ เกิดขึ้น เครื่องมือทำงาน ตอบกลับ และรายงานความสำเร็จโดยที่ร่างงานนั้นไม่เคยถูกตรวจสอบจริงๆ มีเพียง LangGraph เท่านั้นที่ไม่สามารถหลุดรอดผ่านจุดนี้ไปได้เนื่องจากโครงสร้างไม่อนุญาตให้ข้ามเครื่องมือที่เสียหาย

ปัญหายังมีความซับซ้อนยิ่งขึ้นในกรณีที่เครื่องมือตอบกลับด้วยข้อความแจ้งข้อผิดพลาด แต่กระบวนการทำงานกลับยังคงจบลงด้วยรหัส exit 0 ตัวอย่างเช่นใน Strands เมื่อเกิดข้อผิดพลาดจากเครื่องมือ เช่น การแจ้งว่าไม่พบเอกสารหมายเลข 88 การรันทั้งสามครั้งก็ยังคงเสร็จสิ้นด้วยสถานะสีเขียวผ่านฉลุยโดยไม่มีการปฏิเสธสกีมาแต่อย่างใด