ระบบตรวจสอบโค้ดรายงานผลเป็นผ่าน ทั้งที่ตรวจไป 0 ไฟล์

นักพัฒนาซอฟต์แวร์รายหนึ่งได้ออกมาเปิดเผยบทเรียนราคาแพงเกี่ยวกับระบบตรวจสอบโค้ดหรือ Audit ของตนเอง ซึ่งแสดงผลการทำงานออกมาเป็น AHEAD ทั้งที่มีการตรวจสอบ 0 ไฟล์ 0 คลัสเตอร์ และไม่มีไฟล์สรุปผลปรากฏอยู่เลย โดยระบบระบุข้อมูลว่า clusters=0, files=0, judged=0/0, open=0 และ claim=AHEAD สรุปผลว่าเฟสการทำงานนั้นล้ำหน้ากว่าระบบที่นำมาเทียบเคียง

ข้อผิดพลาดนี้ไม่ได้เกิดจากบั๊กในการเปรียบเทียบข้อมูลแต่อย่างใด เนื่องจากตัวเลขทุกตัวถูกต้องตามหลักการคำนวณ การที่ judged=0/0 เป็นจริงสำหรับสิ่งที่มีจำนวนศูนย์ชิ้น ส่งผลให้ open=0 ตามมา และกฎที่กำหนดว่าระบบจะล้ำหน้าเมื่อไม่มีรายการที่ค้างอยู่ก็ทำงานบนชุดข้อมูลว่างเปล่าได้อย่างถูกต้องตามที่เขียนไว้ทุกประการ มีเพียงเฟสเดียวที่รอดพ้นจากปัญหานี้เนื่องจากมีบล็อกโค้ดให้ตรวจสอบถึง 603 บล็อก ทำให้ค่า open มากกว่าศูนย์และไม่สามารถสร้างคำกล่าวอ้างดังกล่าวได้

ปัญหาที่น่ากลัวกว่าผลลัพธ์ที่ผิดพลาดทั่วไปคือ หน้าตาของรายงานไม่มีจุดไหนที่ดูผิดปกติเลย ไม่มีตัวเลขที่สูงเกินจริงหรือผลลัพธ์ที่ดูน่าสงสัย ตัวเลขศูนย์คือรายงานที่ตรงไปตรงมาของรอบการรันที่ว่างเปล่า และผลการตัดสินถูกสร้างขึ้นจากกฎที่ไม่เคยตรวจสอบด้วยซ้ำว่ารอบการรันนั้นเกิดขึ้นจริงหรือไม่ จนกระทั่งผู้พัฒนาเผลอนำผลลัพธ์ดังกล่าวไปอ้างอิงต่อในที่อื่น