แก้บั๊กด้วยพรอมต์ไม่ได้ เพราะ AI ทำให้บั๊กไม่เคยหายไปจริง
เมื่อโค้ดกลายเป็นสิ่งตีความที่เปลี่ยนแปลงตลอดเวลา การแก้ไขบั๊กในยุค AI จึงไม่ใช่การแก้ปัญหาถาวร แต่เป็นเพียงการขอพรเท่านั้น
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- การเขียนโค้ดแบบดั้งเดิมมีความแน่นอน แต่ระบบ AI และเอเจนต์ทำงานผ่านการตีความ
- การสั่ง AI ด้วย TDD หรือกฎข้อห้ามต่างๆ มักกลายเป็นเพียงข้อเสนอแนะที่ AI ทำบ้างไม่ทำบ้าง
- การอัปเดตโมเดลของค่าย AI เปลี่ยนแปลงความสามารถโดยที่เราไม่รู้ตัว ทำให้บั๊กมีความไม่แน่นอนสูง
การแก้ไขจุดบกพร่องหรือบั๊กถือเป็นกิจกรรมที่โปรแกรมเมอร์หลายคนคุ้นเคย วิธีการดั้งเดิมที่ได้รับการอบรมสั่งสอนมาจากผู้มีประสบการณ์คือ หากต้องการให้แน่ใจว่าบั๊กตัวนั้นจะไม่กลับมาหลอกหลอนอีก สิ่งที่ต้องทำคือการเขียน automated test ขึ้นมา แม้ว่าในบางครั้งการแก้ไขจะเล็กน้อยจนละเลยการเขียนเทสต์ไปบ้าง แต่สมมติฐานเบื้องหลังคือ โค้ดคอมพิวเตอร์นั้นมีความแน่นอนตายตัวจนกว่ามนุษย์หรือบอทจะเข้าไปเปลี่ยนแปลงมัน
ทว่า เมื่อเข้าสู่ยุคของภาษาโปรแกรมมิ่งสมัยใหม่อย่างพรอมต์ เอเจนต์ และเวิร์กโฟลว์ ระบบเหล่านี้ไม่ได้ทำงานเหมือนเดิมทุกครั้ง สิ่งที่พวกมันทำคือการประมวลผลตามการตีความคำขอของผู้ใช้ หากมีการเรียกใช้เครื่องมือก็จะทำงานในส่วนที่เป็น Deterministic แต่หากเรียกใช้ซับเอเจนต์ การทำงานจะเป็นการตีความซ้อนทับการตีความอีกทีหนึ่ง ซึ่งส่วนใหญ่จะทำงานคล้ายเดิมจนกระทั่งเกิดความผิดพลาดขึ้น
"bug fixes in prompts are not real bug fixes. They are more like wishes. Which may or may not come true."
Gil Zilberfeld
เรื่องนี้สะท้อนชัดเจนตอนที่ Gil Zilberfeld พยายามสอนให้เอเจนต์ของตนพัฒนาโค้ดโดยใช้กระบวนการ TDD โดยมีกฎเหล็กว่าห้ามสร้างโค้ดใดๆ โดยไม่มีเทสต์รองรับ แต่ปรากฏว่า LLM ไม่ได้เข้าใจ TDD อย่างแท้จริงและมองกฎดังกล่าวเป็นเพียงข้อเสนอแนะที่บางครั้งก็ทำ บางครั้งก็เมินเฉยขึ้นอยู่กับอารมณ์ของมัน สุดท้ายเขาต้องแก้ปัญหาด้วยการใช้เครื่องมือตรวจสอบความครอบคลุมของโค้ดที่เป็น Deterministic เข้ามาช่วยหยุดกระบวนการทำงานทันทีหากพบโค้ดส่วนเกิน
ประเด็นที่น่าสนใจคือ แนวคิดของ TDD (Test-Driven Development) ดั้งเดิมถูกออกแบบมาสำหรับระบบคอมพิวเตอร์ที่มีความแม่นยำสูง (Deterministic) ซึ่งผลลัพธ์จะเหมือนเดิมทุกครั้งภายใต้ชุดข้อมูลเดิม แต่เมื่อเรานำแนวคิดนี้มาใช้กับ Non-deterministic AI agents กฎเกณฑ์เชิงตรรกะจึงถูกแปลงเป็นการตีความความน่าจะเป็น ทำให้การควบคุมคุณภาพซับซ้อนขึ้นอย่างมาก และผู้พัฒนาต้องเปลี่ยนวิธีคิดจากการเขียนโปรแกรมเชิงคำสั่งมาเป็นการจัดการความน่าจะเป็นของระบบแทน
ปัญหาที่แท้จริงในปัจจุบันคือ โค้ดจำนวนมากไม่ได้มาจากการเขียนโปรแกรมแบบเดิมอีกต่อไป แต่มาจากการตีความ ทำให้บั๊กมีความผันผวนและยากต่อการจับตาดู ยิ่งไปกว่านั้น ผู้ให้บริการ LLM ยังมีการปรับเปลี่ยนความสามารถของโมเดลอยู่ตลอดเวลาโดยไม่แจ้งล่วงหน้า ส่งผลให้การแก้ไขบั๊กด้วยพรอมต์กลายเป็นเรื่องเพ้อฝันที่ไม่ต่างจากการอธิษฐาน บทความนี้เขียนโดย Gil Zilberfeld ผู้เชี่ยวชาญด้านการทดสอบ API และระบบทดสอบอัตโนมัติ
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น