ควรมอง AI ประเมินความเสี่ยงเป็นเซนเซอร์ มากกว่าผู้ตรวจสอบ?

ในวงการพัฒนาซอฟต์แวร์ยุคใหม่ มีการใช้งานระบบปัญญาประดิษฐ์กลุ่มหนึ่งที่ไม่เน้นการสร้างข้อความยาวๆ แต่ทำหน้าที่รับข้อมูลสถานะหรือหลักฐานเข้ามา แล้วประเมินผลออกมาเป็นค่าความน่าจะเป็นแบบมีขอบเขตชัดเจน เช่น การระบุระดับความเสี่ยงหรือหมวดหมู่ต่างๆ เพื่อให้ระบบนำไปประมวลผลต่อได้อย่างรวดเร็ว

โมเดลสมัยใหม่เริ่มใช้รูปแบบการคืนค่าผลลัพธ์ที่เป็นประเภทข้อมูลความน่าจะเป็นโดยตรง แทนที่จะให้โมเดลภาษาขนาดใหญ่สร้างคำอธิบายหรือ JSON แล้วค่อยนำมาแปลงกลับเป็นคำตัดสินใจ ซึ่งดูจะมีประโยชน์อย่างมากสำหรับการทำงานของระบบเอเจนต์ แต่อย่างไรก็ตาม ประเด็นนี้ทำให้เกิดคำถามสำคัญว่าเราควรวางตำแหน่งโมเดลเหล่านี้ไว้ตรงจุดไหนในโครงสร้างการควบคุมของระบบ

แนวทางปฏิบัติที่มักพบได้บ่อยคือการนำผลลัพธ์จากโมเดล เช่น ค่าความอันตรายที่สูงเกินกว่า 0.8 มาสั่งปฏิเสธการทำงานทันที แม้วิธีนี้จะเรียบง่ายและรวดเร็ว แต่การเรียกโมเดลความน่าจะเป็นว่าตัวตรวจสอบ (Verifier) อาจเป็นมุมมองที่ไม่ถูกต้องนัก เนื่องจากโมเดลไม่ได้พิสูจน์ว่าปฏิบัติการนั้นไม่ปลอดภัยอย่างแท้จริง แต่เป็นเพียงการสร้างข้อสังเกตเกี่ยวกับปฏิบัติการนั้นเท่านั้น

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

สถาปัตยกรรมที่กำลังทดลองอยู่นี้ได้แบ่งบทบาทออกเป็น 4 ส่วนอย่างชัดเจน ได้แก่ ผู้ผลิตข้อสังเกต (Finding Producer) ชั้นนโยบาย (Policy) ผู้ตรวจสอบ (Verifier) และผู้บังคับใช้ (Enforcer) โดยโมเดล AI จะทำหน้าที่อยู่ในขั้นตอนแรกสุดในการให้ค่าความน่าจะเป็น พร้อมกับระบุเวอร์ชันและหลักฐานอ้างอิง