TestStar เผยเบื้องหลัง AI UI Testing ทดลองผ่าน 9 เหลือ 6 ในโปรดักชัน

การพัฒนาแพลตฟอร์มทดสอบ UI ด้วยปัญญาประดิษฐ์อย่าง TestStar เผยให้เห็นความจริงที่ทีมพัฒนาซอฟต์แวร์ต้องเผชิญในปี 2025-2026 โดยการทดสอบในสภาพแวดล้อมจำลองแบบท้องถิ่นมักจะประสบความสำเร็จถึง 9 ใน 10 ครั้ง แต่เมื่อนำไปรันในระบบโปรดักชันขนาดใหญ่ ตัวเลขความสำเร็จกลับลดลงเหลือเพียง 6 ใน 10 ครั้ง หรือบางครั้งก็แย่กว่านั้น ซึ่งเป็นความท้าทายที่นักพัฒนาต้องทำความเข้าใจอย่างถ่องแท้

ทีมงานได้นำกรณีศึกษาจริงจากธุรกิจหนึ่งซึ่งประกอบด้วย 19 ขั้นตอน ตั้งแต่การเข้าสู่ระบบ ไปจนถึงคอนโซล SQL ป้อนคำสั่ง และการยืนยันผลลัพธ์ มาทำการทดสอบซ้ำจำนวน 8 รอบเต็ม ผลลัพธ์ที่ได้คือน้ำหนักของความล้มเหลวในแต่ละรอบนั้นเกิดจากสาเหตุที่แตกต่างกันโดยสิ้นเชิง เช่น รอบแรกเกิดจากข้อมูลที่ไม่ถูกต้อง ขณะที่รอบถัดมาเกิดจากไดรเวอร์เบราว์เซอร์ขัดข้อง ซึ่งไม่มีรูปแบบความผิดพลาดที่ตายตัวทำให้คาดเดาได้ยาก

จุดเปลี่ยนสำคัญเกิดขึ้นในรอบที่ 6 เมื่อกระบวนการทำงานย่อยเสร็จสมบูรณ์และ AI ทำงานทุกอย่างถูกต้อง แต่ผลลัพธ์กลับไม่ถูกส่งกลับไปยังฐานข้อมูล เนื่องจากความเห็นของ AI และระบบมีความขัดแย้งกัน ทีมงานต้องใช้เวลาถึงสองวันเต็มในการตรวจสอบปัญหาเชิงลึกจนพบรากเหง้าว่า ทุกขั้นตอนที่ AI กระทำนั้นไปกระตุ้นการเขียนหน่วยความจำแบบซิงโครนัส ส่งผลให้เธรดการทำงานเกิดอาการค้างและหมดเวลาไปในที่สุด

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

ในระหว่างการพัฒนาโมดูลรักษาตัวเอง (Self-healing) ทีมงานพบความท้าทายใหม่เมื่อระบบเริ่มแก้ไขข้อผิดพลาดอัตโนมัติแต่กลับสร้างปัญหาเพิ่ม เนื่องจากคำว่า error ในบันทึกการทำงานทำให้ AI ตีความผิดและเข้าไปแก้ไของค์ประกอบที่ทำงานปกติอยู่แล้ว จนทำให้ชุดทดสอบพังเสียหาย แนวทางแก้ไขคือการเพิ่มชั้นกรองข้อผิดพลาดที่แท้จริง เช่น ค้นหาเฉพาะบรรทัดที่ขึ้นต้นด้วยรูปแบบการหมดเวลาหรือการยืนยันล้มเหลวเท่านั้น