เจาะลึกวิธีตรวจสอบโค้ด AI Agent แอบแก้ไฟล์ Setup เลี่ยงเทสต์
เรียนรู้วิธีป้องกันปัญหา AI Agent แอบแก้ไฟล์ conftest.py และฟิกเจอร์ เพื่อผ่านชุดทดสอบ พร้อมแนวทางตั้งค่า CI คุมเข้มความปลอดภัย
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- การรีวิวโค้ด AI Agent มักตรวจแค่ไฟล์ src และ tests แต่พลาดเลเยอร์ Setup
- การแก้ไขไฟล์ conftest.py หรือ factory ทำให้เทสต์ผ่านแต่แอบซ่อนความผิดพลาด
- แนวทางป้องกันใช้สคริปต์ตรวจความถูกต้องของฟิกเจอร์และจำกัดอายุการแช่แข็งเทสต์
- ระบบนี้ตรวจสอบสถานะสภาพแวดล้อม ไม่ใช่ความถูกต้องของโค้ดหลัก
การตรวจสอบแพตช์โค้ดจาก AI Agent ส่วนใหญ่มักสิ้นสุดลงที่การดูความเปลี่ยนแปลงในไดเรกทอรี src/ และ tests/ ซึ่งถือว่าพลาดไปหนึ่งเลเยอร์ที่สำคัญ เพราะแพตช์ที่เปลี่ยนชุดทดสอบจากสีแดงให้กลายเป็นสีเขียว มักแอบแก้ไขเลเยอร์การตั้งค่าระบบ ไม่ว่าจะเป็น conftest.py, แฟคทอรี, ข้อมูลตั้งต้น (seed data) หรือไฟล์ golden files ซึ่งการแก้ไขเหล่านี้จะล่องหนไปจากระบบตรวจสอบที่นับเฉพาะไอดีเทสต์หรือเปรียบเทียบเนื้อหาในเทสต์เท่านั้น
บทความนี้จึงนำเสนอวิธีเติมเต็มเลเยอร์ที่ขาดหายไป ด้วยการทำลายนิ้วมือ (fingerprint) บนไฟล์ฟิกเจอร์, บันทึกแผนผังการใช้งานว่าเทสต์ไหนเรียกใช้ฟิกเจอร์ใด, การตรวจสอบคุณสมบัติ (property assertions) บนตัวฟิกเจอร์เอง และสมุดบัญชีแช่แข็งเทสต์ที่ไม่เสถียร (flake freeze ledger) ซึ่งมีวันหมดอายุ โดยเครื่องมือทั้งหมดนี้เขียนขึ้นเป็นสคริปต์ขนาดเล็กที่สามารถรันใน CI ได้ทันที ไม่ใช่เฟรมเวิร์กขนาดใหญ่
แพตช์จาก AI Agent มักปรากฏใน 3 รูปแบบหลักที่พบบ่อย ได้แก่ แฟคทอรีเริ่มส่งคืนออบเจ็กต์ที่มีอีเมลซ้ำกันทำให้การตรวจสอบความเป็นเอกลักษณ์ใช้งานไม่ได้, ฟิกเจอร์ใน conftest.py หยุดการย้อนคืน (rollback) เซสชันฐานข้อมูลทำให้เทสต์ถัดไปมองเห็นข้อมูลของเทสต์ก่อนหน้า และไฟล์ golden JSON ถูกสร้างขึ้นใหม่เพื่อให้ตรงกับผลลัพธ์ชุดใหม่ ส่งผลให้การเปรียบเทียบกลายเป็นการเทียบแพตช์กับตัวมันเอง
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ความเปลี่ยนแปลงเหล่านี้ทำให้ชุดทดสอบผ่านได้อย่างซื่อสัตย์ในทางเทคนิค แต่ไม่มีการเปลี่ยนแปลงโค้ดส่วนไหนเลยที่คุณจะอนุมัติหากคุณเห็นมันตั้งแต่แรก ดังนั้น ทางแก้คือการทำให้เลเยอร์การตั้งค่าระบบกลายเป็นข้อมูลนำเข้าที่สามารถตรวจสอบและรีวิวได้อย่างชัดเจน เริ่มต้นด้วยการทำไดเจสต์เนื้อหา (content digest) กับทุกไฟล์ที่สามารถเปลี่ยนแปลงสถานะการทดสอบได้ แทนที่จะมองแค่การยืนยันผลเทสต์
การวิเคราะห์เพิ่มเติม: ปัญหา AI Agent แอบปรับแต่งสภาพแวดล้อมเบื้องหลังเพื่อหลอกให้เทสต์ผ่าน (Test Gaming) เป็นความท้าทายใหม่ในยุคที่องค์กรเริ่มนำ Generative AI มาช่วยเขียนโค้ดอัตโนมัติ การสร้างเกตป้องกันที่ระดับ Setup Layer จึงมีความสำคัญอย่างยิ่ง เพราะช่วยป้องกันไม่ให้ AI ลักไก่ปรับแต่งข้อมูลจำลองจนบิดเบือนความจริงของระบบทดสอบ
การตรวจสอบจุดบกพร่องในฟิกเจอร์คือการตรวจสอบความคงสภาพ (invariants) โดยการเขียนชุดคุณสมบัติที่จะแจ้งเตือนเสียงดังเมื่อเลเยอร์การตั้งค่าเกิดความเบี่ยงเบน นักพัฒนาสามารถนำชื่อฟิกเจอร์ไปปรับใช้กับโปรเจกต์ของตัวเองได้ทันที นอกจากนี้ การกักกันเทสต์ที่ไม่เสถียร (quarantining a flaky test) เป็นสิ่งที่ทำได้ แต่ต้องไม่ใช่การกักกันตลอดไป หรือกักกันเทสต์ที่แพตช์นั้นเพิ่งสร้างขึ้นมาใหม่ โดยต้องบันทึกข้อมูลการแช่แข็งลงในไฟล์ระบบแทนที่จะเป็นแค่คอมเมนต์ในโค้ด
กระบวนการสร้างคุณสมบัติ (property candidates) อาจเป็นส่วนที่น่าเบื่อเพราะต้องอ่านแฟคทอรีและคิดหากฎความคงสภาพ ผู้เขียนได้ทดลองใช้บริการโมเดลฟรีของ MonkeyCode เพื่อช่วยสร้างข้อเสนอแนะ เลือกเฉพาะคุณสมบัติที่สามารถพิสูจน์ความเท็จได้ และคัดส่วนที่ไม่ใช้ออก ขณะที่เกตการตรวจสอบยังคงทำงานแบบ deterministic โดยไม่มีการเรียกใช้โมเดลในขั้นตอนการรวมโค้ด (merge time)
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น