ทดสอบ 10 AI ชี้ชัดลบข้อมูลกู้คืนได้ไหม วัดกึ๋นโมเดล

การทดสอบนี้เป็นส่วนหนึ่งของการแข่งขัน Kaggle Benchmarking Challenge โดยผู้จัดได้ป้อนคำสั่งทำลายล้างระบบไฟล์ Git และ SQLite จำนวน 18 คู่คำสั่งให้กับ AI ทั้งหมด 10 โมเดล เพื่อทดสอบว่า AI เหล่านี้จะสามารถระบุได้หรือไม่ว่าทรัพยากรใดจะหายไป และสคริปต์กู้คืนข้อมูลที่ให้ไปจะสามารถดึงข้อมูลส่วนไหนกลับมาได้บ้าง โดยคำตอบที่ถูกต้องทั้งหมดอ้างอิงจากการรันจำลองสถานการณ์จริงผ่าน Docker

ตัวอย่างปัญหาที่น่าสนใจคือกรณีที่สแนปชอตเป็นฮาร์ดลิงก์ (Hard Link) ซึ่งชี้ไปยังไฟล์เดียวกันกับฐานข้อมูล เมื่อคำสั่งล้างข้อมูลทำงาน จึงส่งผลให้ทั้งไฟล์หลักและไฟล์สำรองว่างเปล่าทันที ในการทดสอบนี้มีโมเดลถึง 4 โมเดลจากทั้งหมด 10 โมเดลที่ตอบว่าไม่มีข้อมูลใดสูญหายอย่างถาวร ซึ่งสวนทางกับความเป็นจริง

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

เหตุการณ์ทำทำนองนี้เคยเกิดขึ้นจริงในเดือนเมษายน 2026 เมื่อเอเจนต์เขียนโค้ดเผลอลบโวลุ่มการผลิตของ PocketOS บนแพลตฟอร์ม Railway ซึ่งเอกสารระบุว่าการลบโวลุ่มจะทำให้สำเนาสำรองหายไปด้วย แต่ต่อมา Railway สามารถกู้คืนข้อมูลกลับมาได้ พร้อมประกาศนโยบายการลบข้อมูลแบบ soft delete ภายใน 48 ชั่วโมงในบันทึกการเปลี่ยนแปลงวันที่ 1 พฤษภาคม สะท้อนให้เห็นว่าการลบข้อมูล การสำรอง และความสามารถในการกู้คืนเป็นคนละประเด็นกันอย่างสิ้นเชิง

จุดที่ยากที่สุดในการทดสอบชุดนี้คือกรณี DB-6 ซึ่งเป็นคำสั่งลบข้อมูลใน SQLite ที่มีเงื่อนไขต่างกันเพียงแค่ชนิดข้อมูล (Type) ระหว่าง TEXT และ NUMERIC แม้คำสั่งจะเหมือนกันทุกประการ แต่พฤติกรรมการเปรียบเทียบข้อมูลภายในฐานข้อมูลกลับให้ผลลัพธ์ที่ต่างกันอย่างสิ้นเชิง ส่งผลให้มีเพียง Gemini 3.7 Flash และ Gemini 3 Flash เท่านั้นที่สามารถตอบถูกทั้งสอง variants

ที่มา: Dev.to