ถ้าการเรียกเครื่องมือ AI เป็นศูนย์วิสัย คุณอาจกำลังโกง

การทดสอบ AI agent บนแล็ปท็อปส่วนตัวมักทำให้ทีมนักพัฒนาเข้าใจผิดว่าระบบพร้อมใช้งานจริง เนื่องจากเครื่องมือทุกตัวทำงานเป็นฟังก์ชันภายในกระบวนการเดียวกัน (in-process) API จำลองสามารถส่งค่ากลับได้ภายในหนึ่งมิลลิวินาทีโดยไม่มีแพ็กเก็ตข้อมูลใดวิ่งผ่านเครือข่ายภายนอกเลย โปรแกรมจำลองเหล่านี้ไม่ได้สะท้อนพฤติกรรมจริงเมื่อต้องเผชิญกับสภาพแวดล้อมการใช้งานจริงที่มีการรอคอย การยกเลิกคำขอ การลองใหม่ (retry) หรือข้อมูลที่ส่งมาไม่ครบถ้วน

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

การสาธิตเอเจนต์ที่ทำงานบนเบราว์เซอร์เพียงอย่างเดียวมักซ่อนปัญหาเหล่านี้ให้แนบเนียนยิ่งขึ้น วงจรการทำงานทั้งหมดจะอยู่ในต้นทางเดียวกัน (same origin) และใช้แคชชุดเดียวกัน สิ่งที่คุณกำลังประเมินจึงเป็นเพียงการซ้อม ไม่ใช่เส้นทางการทำงานจริงที่มีความซับซ้อน ถ้าการประเมินผล (eval) ของคุณไม่เคยต้องรอคอย I/O เลย สิ่งที่คุณมีก็เป็นเพียงแค่ยูนิตเทสต์สำหรับทดสอบข้อความพรอมต์เท่านั้น

ในความเป็นจริงของระบบเครือข่าย ค่า timeout ไม่ใช่เรื่องที่จะหยิบมาคิดเอาในขั้นตอนการดำเนินงานท้ายสุด แต่มันส่งผลโดยตรงต่อการตัดสินใจเลือกเครื่องมือขั้นต่อไปของโมเดล การลองใหม่ (retry) อาจสร้างผลกระทบซ้ำซ้อนบนสายส่งข้อมูล และเครื่องมือที่ทำงานช้าจะส่งผลให้ขั้นตอนถัดไปต้องรอคอย คุณไม่สามารถมองเห็นความล้มเหลวเหล่านี้ได้เลยหากรันโค้ดบน localhost

แนวทางปฏิบัติที่ถูกต้องคือการหยุดเก็บบันทึก (log) เฉพาะข้อความสุดท้ายจากผู้ช่วย แต่ให้บันทึกระยะเวลาการรอคอยในแต่ละผลลัพธ์ของเครื่องมือด้วย ข้อมูลสำคัญที่ต้องจับตาดูในทุกการเรียกใช้งาน ได้แก่ หมายเลขความพยายาม (attempt number) และระยะเวลาการทำงาน หากความพยายามในการเรียกใช้งานมักจะสำเร็จตั้งแต่ครั้งแรกเสมอ หรือระยะเวลาต่ำกว่า 20ms แสดงว่าคุณแทบไม่ได้เรียนรู้อะไรเกี่ยวกับระบบจริงเลย