เจาะลึกการสร้าง AI Agent ตั้งแต่ต้น: ยกระดับความปลอดภัยและระบบควบคุม (ตอนที่ 3)

เดินทางมาถึงช่วงท้ายซีรีส์การสร้าง AI Agent จากศูนย์กันแล้ว หลังจากในตอนก่อนหน้าเราได้เริ่มอุดช่องโหว่ที่เกิดขึ้นจากมนุษย์ในวง Looop ไปบ้างแล้ว เช่น การใช้ Docker sandbox เพื่อจำกัดคำสั่งที่หลุดรอด, การป้องกัน prompt-injection เพื่อไม่ให้โมเดลเชื่อผลลัพธ์จากเครื่องมือเป็นคำสั่ง รวมถึงการตรวจสอบ schema เพื่อให้มั่นใจว่าเครื่องมือที่เรียกใช้งานถูกต้อง ในพาร์ตนี้เราจะมาทำให้ระบบสมบูรณ์แบบยิ่งขึ้นด้วยการยกระดับเกราะนโยบายเครื่องมือ, การจำกัดทรัพยากรและต้นทุน, การซ่อนความลับออกจากสภาพแวดล้อมคอนเทนเนอร์ ตลอดจนเพิ่มระบบบันทึกการตรวจสอบและสวิตช์ตัดการทำงานฉุกเฉิน

ในส่วนของ Human in the Loop และความปลอดภัยก่อนหน้านี้ ฟังก์ชัน check_permission เคยเป็นฟังก์ชันเดี่ยวๆ โดยเครื่องมืออ่านและเครื่องมือวางแผนจะได้รับอนุญาตเสมอ ส่วนเครื่องมือเขียนจะได้รับอนุญาตเฉพาะภายในไดเรกทอรีทำงานในโหมด acceptEdits นอกเหนือจากนั้นจะต้องมีการถามผู้ใช้ แต่ในตอนนี้เราได้เพิ่มเกราะนโยบาย (policy gate) ที่จะทำงานก่อนการตัดสินใจตามโหมด ซึ่งเกราะนี้ประกอบด้วย 3 เลเยอร์หลัก ได้แก่ การตรวจสอบขอบเขตพาธ, นโยบาย Shell และนโยบายเว็บหรือ SSRF โดยหากเกิดข้อผิดพลาดในชั้นเหล่านี้ จะถูกบล็อกทันทีโดยไม่มีโหมดใดลบล้างได้

สำหรับการตรวจสอบขอบเขตพาธ จากเดิมที่ตรวจสอบเฉพาะเครื่องมือเขียน ตอนนี้ถูกขยายผลไปยังทุกเครื่องมือที่ใช้งานเกี่ยวกับพาธ เช่น read_file, glob_files, grep, write_file และ edit_file โดยอาร์กิวเมนต์พาธของแต่ละเครื่องมือจะถูกแปลงเพื่อจัดการกับพาธสัมพัทธ์, symlinks และการอ้างอิง .. และจะถูกปฏิเสธทันทีหากมีการหลุดออกนอกไดเรกทอรีทำงาน ในขณะที่เครื่องมือ run_bash ถือเป็นเครื่องมือที่อันตรายที่สุด จึงต้องมีกระบวนการคัดกรองเฉพาะตัวผ่านชุดรายการปฏิเสธนิพจน์ทั่วไป (regex denylist) สำหรับไบนารีอันตราย เช่น docker, sudo, su, nc, netcat, curl, wget, chmod และคำสั่งจัดการระบบอื่นๆ

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง