ทำไมการตรวจสอบข้อมูลในยุค AI จึงต้องเป็นรากฐานสำคัญตั้งแต่วันแรก

ในวงจรการพัฒนาซอฟต์แวร์แบบดั้งเดิมหรือ SDLC งานตรวจสอบคุณภาพหรือ QA มักเป็นหน้าที่ของทีมอื่นและเกิดขึ้นในช่วงท้ายของโปรเจกต์ ทีม QA จะคอยตรวจว่าซอฟต์แวร์ทำงานได้ตามที่ออกแบบไว้หรือไม่ พฤติกรรมของระบบมีความสม่ำเสมอจนสามารถเขียนสคริปต์อัตโนมัติเพื่อทดสอบซ้ำๆ ได้ก่อนจะส่งมอบงานต่อไป แต่วิธีการเหล่านี้พังทลายลงทันทีเมื่อระบบเริ่มมีโมเดลภาษาขนาดใหญ่หรือ LLM เข้ามาเกี่ยวข้อง

ระหว่างการพัฒนาแอปพลิเคชัน Slooster ผู้พัฒนาเลือกที่จะทำส่วนยากๆ ก่อน และคิดว่าชั้นตรวจสอบข้อมูลหรือ validation layer สามารถรอไว้ก่อนได้เนื่องจากระบบทดสอบในเครื่องทำงานได้เป็นอย่างดี แต่ความจริงก็คือ LLM สร้างผลลัพธ์จากการคาดเดาตามบริบท แม้เทคโนโลยีจะเก่งขึ้นเรื่อยๆ แต่มันก็ยังเป็นการคาดเดาอยู่ดี พรอมต์เดิมในเวลาที่ต่างออกไปอาจให้คำตอบที่เพี้ยนหรือผิดพลาดได้โดยที่ไม่มีอะไรเปลี่ยนแปลงเลย การตรวจสอบจึงต้องฝังอยู่ในตัวซอฟต์แวร์ตั้งแต่วันแรกที่สร้างระบบเพื่อรองรับความไม่แน่นอนนี้

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

เหตุการณ์ช็อกในสภาพแวดล้อม staging เกิดขึ้นเมื่อนำ Slooster Guide ไปทดสอบก่อนสาธิตให้ผู้ร่วมก่อตั้งดู พรอมต์และโมเดลชุดเดิมที่เคยให้ข้อมูลผู้ขายตรงตามเกณฑ์มานานนับสัปดาห์ กลับส่งข้อมูลจำลองอย่างคำว่า Vendor A, Vendor B และ Vendor C ออกมาแทน และเมื่อสั่งให้ระบบสร้างคำตอบใหม่ ก็ได้ Vendor D หลุดเข้ามาผสมด้วย เหตุการณ์นี้พิสูจน์ให้เห็นว่าโมเดลที่ทำงานได้สะอาดเรียบร้อยในเครื่องนานหลายสัปดาห์ยังคงพ่นขยะออกมาได้จริงเมื่อใช้งานจริง และการทดสอบก่อนส่งมอบล่วงหน้าไม่สามารถป้องกันปัญหานี้ได้เลย นี่คือเหตุผลหลักที่ต้องตรวจสอบแบบ inline บนทุกผลลัพธ์จริง ไม่ใช่แค่ตรวจครั้งเดียวก่อนปล่อยของ