กับดัก AI หลอกตา: เมื่อระบบยืนยันว่าโค้ดทำงานได้ แต่ความจริงไม่ใช่เลย
นักพัฒนาแชร์ประสบการณ์ชวนคิด เมื่อสั่ง AI ย้ายระบบพอดแคสต์แต่มันดันกุเรื่องว่าตรวจทานโค้ดเรียบร้อย ทั้งที่ผลงานพังไม่เป็นท่า
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- นักพัฒนาคัดลอกระบบพอดแคสต์ข้ามแอปพลิเคชันด้วยการให้ AI ช่วยจัดการ
- สั่ง AI เซสชันใหม่ตรวจสอบโค้ด ซึ่งได้รับคำตอบยืนยันอย่างมั่นใจว่าถูกต้องดีแล้ว
- เมื่อทดลองรันจริงพบว่าเสียงดนตรี จังหวะ และการตัดต่อพังทั้งหมด แม้ตัวหนังสือจะครบถ้วน
- สะท้อนปัญหาช่องว่างของการเชื่อมั่นระบบอัตโนมัติและการทดสอบเทียม
นักพัฒนาซอฟต์แวร์รายหนึ่งได้บอกเล่าเรื่องราวผ่านบล็อกบน Dev.to ถึงระบบพอดแคสต์อัตโนมัติที่ตนเองภูมิใจ ซึ่งทำหน้าที่แปลงบทพูดเป็นเสียงสนทนา ผสมดนตรีประกอบ และออก1มาเป็นไฟล์ MP3 พร้อมเผยแพร่ได้อย่างราบรื่น เมื่อถึงเวลาต้องสร้างแอปพลิเคชันตัวที่สองที่ต้องการกระบวนการทำงานแบบเดียวกัน เขาจึงเลือกทางลัดโดยการให้ AI ช่วยคัดลอกระบบเดิมมาไว้ในโปรเจกต์ใหม่
ความผิดพลาดไม่ได้อยู่ที่กระบวนการคัดลอก แต่เริ่มต้นขึ้นในขั้นตอนการตรวจสอบ นักพัฒนาผู้นี้เล่าว่าเขาได้เปิดเซสชัน AI ใหม่เอี่ยมที่ไม่มีความทรงจำหลงเหลือจากระบบเก่า เพื่อสั่งให้ตรวจสอบความถูกต้องของท่อส่งข้อมูล (pipeline) ใหม่นี้โดยเฉพาะ และ AI ก็กลับมารายงานผลด้วยความมั่นใจว่าทุกอย่างเรียบร้อยดี
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
แต่เมื่อเขานำไฟล์บทพูดจริงมาทดสอบรันผ่านระบบใหม่ ผลลัพธ์ที่ได้กลับพังไม่เป็นท่า เสียงพากย์ไม่ถูกต้อง เสียงดนตรีไม่ยอมเข้ามาตามกำหนดเวลาและไม่ยอมตัดจบตามที่ควรจะเป็น เพลงหยุดกะทันหันโดยไม่มีการเฟดเอาต์ แม้ว่าตัวอักษรและคำพูดทั้งหมดจะอยู่ครบถ้วนและเรียงลำดับถูกต้อง แต่องค์ประกอบด้านจังหวะ อารมณ์ และงานโปรดักชันที่เคยยอดเยี่ยมในระบบเดิมกลับหายไปจนหมดสิ้น
เหตุการณ์นี้นับเป็นตัวอย่างคลาสสิกของช่องว่างระหว่าง 'การตรวจสอบตามรูปแบบ' (syntactic verification) กับ 'คุณภาพเชิงประสบการณ์' (experiential quality) โมเดลภาษาขนาดใหญ่ (LLM) ทำหน้าที่ประมวลผลโค้ดและโครงสร้างทางตรรกะได้ดี แต่มันไม่มีหู ไม่มีสุนทรียภาพ และไม่มีทางรับรู้ได้เลยว่างานที่ออกมา 'ฟังดูดี' ตามเกณฑ์ของมนุษย์หรือไม่ ความมั่นใจของ AI จึงเป็นเพียงการคาดเดาจากโครงสร้างโค้ดที่ดูสมเหตุสมผลเท่านั้น ไม่ใช่การรับประกันผลลัพธ์การใช้งานจริง
เบื้องหลังความผิดพลาดครั้งนี้ นักพัฒนาผู้นชี้ให้เห็นกับดักที่ลึกซึ้งกว่าการแค่ไว้ใจ AI นั่นคือการที่ระบบเซสชันใหม่ไม่มีทางรับรู้ได้เลยว่าคำว่า 'ดี' ของระบบเดิมนั้นหน้าตาเป็นอย่างไร มันไม่มีส่วนได้ส่วนเสียกับผลลัพธ์ของพอดแคสต์ จึงทำได้เพียงรายงานสิ่งที่มองเห็นผ่านหน้าจอโค้ด ซึ่งเป็นสิ่งที่ไม่เคยตรงกับความคาดหวังที่แท้จริงของผู้สร้างเลยแม้แต่น้อย
บทความดังกล่าวยังเปรียบเทียบปัญหาในทำนองนี้กับสัญญาณเตือนอื่นๆ ที่เรามักไว้วางใจกันในวงการไอที ไม่ว่าจะเป็นการผ่านการทดสอบโค้ด (passing test) การรวมโค้ดสำเร็จ (merged PR) หรือการปิดประเด็นปัญหา (closed issue) ซึ่งทั้งหมดนี้เป็นเพียงตัวแทนจำลอง (proxies) ที่อาจขึ้นสถานะสีเขียวอย่างสวยงามในขณะที่ระบบภายในพังเสียหาย เมื่อ AI เข้ามามีบทบาทในการเขียนโค้ด ช่องว่างระหว่างตัวแทนจำลองกับความจริงจึงกลายเป็นจุดที่อันตรายที่สุดในกระบวนการทำงาน
เรื่องราวดังกล่าวเป็นบทเปิดของหนังสือที่กำลังเขียนเผยแพร่แบบเปิดชื่อว่า Or So I Was Told: How to Verify What Your AI Coding Agent Actually Built ซึ่งเป็นเล่มที่ 4 ในซีรีส์ Outgrowing the Vibe Code ของผู้เขียน สำหรับผู้ที่สนใจติดตามอ่านสามารถเข้าไปดูรายละเอียดเพิ่มเติมได้ที่แพลตฟอร์ม Leanpub
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น