บทเรียนจากบั๊กการปรับเทียบของตัวแทนสืบสวนการทุจริต
เรียนรู้จากการสร้างระบบสืบสวนการทุจริตด้วย LangGraph และ TigerGraph พร้อมข้อผิดพลาดในการวัดผลที่พลิกผลลัพธ์
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- ใช้ข้อมูลชุด IEEE-CIS จาก TigerGraph Hacker House Goa กว่า 590,742 รายการ
- ออกแบบสถาปัตยกรรมแบบวนซ้ำเพื่อให้เอเจนต์สามารถประเมินและขอหลักฐานเพิ่มได้
- แยกแกนหลักที่เป็นตรรกะออกจากการตัดสินใจของ LLM เพื่อความโปร่งใสต่อกฎระเบียบ
- พบปัญหาบั๊กการปรับเทียบที่ทำให้ระบบตีความข้อมูลพฤติกรรมสลับด้าน
การพัฒนาเอเจนต์สืบสวนการทุจริตบนกราฟฐานข้อมูล TigerGraph เผยให้เห็นแง่มุมที่น่าสนใจของการออกแบบระบบอัตโนมัติ โดยโครงการนี้เกิดขึ้นจากการแข่งขัน TigerGraph Hacker House Goa ซึ่งให้ข้อมูลธุรกรรมบัตรเครดิตจำนวน 590,742 รายการจากชุดข้อมูล IEEE-CIS แต่ไม่มีการระบุธง isFraud มาให้โดยตรง แทนที่จะเป็นเช่นนั้น ข้อมูลแต่ละรายการจะมีคะแนนความเสี่ยงจากโมเดลของธนาคารเอง พร้อมด้วยประวัติการสืบสวนที่ปิดไปแล้ว 5,565 รายการตลอดระยะเวลา 4 เดือน
งานของระบบจึงไม่ใช่แค่การจำแนกประเภททั่วไป แต่เป็นการสืบสวนเชิงลึกเพื่อหาว่าการทุจริตคืออะไร ขอบเขตแค่ไหน และต้องดำเนินการอย่างไร โดยข้อกำหนดที่ซ่อนอยู่ในรูปแบบคำตอบคือการบันทึกเส้นทางการอนุมัติและการดำเนินการครั้งถัดไป ทั้งก่อนและหลังจากที่ขอหลักฐานเพิ่มเติม ซึ่งบังคับให้สถาปัตยกรรมของระบบต้องทำงานแบบวนซ้ำผ่านขั้นตอนการดึงข้อมูล เชื่อมโยง ประเมิน และปรับปรุงการตัดสินใจ
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
จุดเด่นสำคัญของสถาปัตยกรรมนี้คือการแยกส่วนการตัดสินใจที่ธนาคารต้องชี้แจงต่อผู้กำกับดูแลให้อยู่ในแพ็กเกจ core/ ซึ่งห้ามนำเข้า LLM โดยเด็ดขาด มีการทดสอบ Abstract Syntax Tree ของทุกไฟล์ในไดเรกทอรีเพื่อป้องกันการเรียกใช้ไลบรารีของปัญญาประดิษฐ์ ผลลัพธ์ที่ได้คือเอเจนต์สามารถทำงานตั้งแต่ต้นจนจบโดยไม่ต้องใช้ API Key ใดๆ และผลลัพธ์รวมถึงเส้นทางการอนุมัติจะตรงกันทุกประการ
ในด้านการจัดการความจำของเคส ระบบได้ผสานการค้นหาความหมายและเอนทิตีที่ใช้ร่วมกันในคำสั่ง GSQL เดียวภายในฐานข้อมูล นอกจากนี้ยังมีการลดขนาดฟีเจอร์วิศวกรรม 339 คอลัมน์ของ Vesta ให้เหลือ 26 คอมโพเนนต์ผ่านวิธี Incremental PCA และรวมเข้ากับคอลัมน์นับความถี่เพื่อสร้างเวกเตอร์พฤติกรรมขนาด 64 มิติที่จัดเก็บไว้ในทุกธุรกรรม ทำให้การค้นหาเคสที่มีพฤติกรรมคล้ายคลึงกันทำได้อย่างแม่นยำผ่านฐานข้อมูลเวกเตอร์
การสร้างระบบสืบสวนอัตโนมัติที่ต้องปฏิบัติตามกฎระเบียบทางการเงินสะท้อนให้เห็นถึงความจำเป็นในการสร้างขอบเขตที่ชัดเจนระหว่างปัญญาประดิษฐ์และตรรกะทางธุรกิจแบบดั้งเดิม การที่ระบบไม่พึ่งพา LLM ในส่วนของการตัดสินใจกฎหมายหรือความเสี่ยง ช่วยให้สถาบันการเงินสามารถตรวจสอบย้อน ลับและอธิบายที่มาของการตัดสินใจแต่ละครั้งต่อผู้ตรวจสอบภายนอกได้อย่างโปร่งใส ซึ่งเป็นหัวใจสำคัญของการนำ AI มาใช้ในภาคธนาคาร
อย่างไรก็ตาม ปัญหาที่ท้าทายที่สุดคือบั๊กการปรับเทียบที่เกิดขึ้น เมื่อทีมนักพัฒนาวัดอัตราความน่าจะเป็นจากประวัติการสืบสวน 5,565 เคส โมเดลกลับเรียนรู้ว่าธุรกรรมบนอุปกรณ์ที่คุ้นเคยในภูมิภาคที่คุ้นเคยมีโอกาสเป็นการทุจริตมากกว่าปกติถึงสามเท่า และการซื้อสินค้าวงเงินสูงจากอุปกรณ์ใหม่คือสัญญาณของความถูกต้อง ซึ่งขัดแย้งกับความเป็นจริงอย่างสิ้นเชิง
สาเหตุของปัญหาไม่ได้มาจากตัวโมเดล แต่มาจากประชากรในชุดข้อมูลปิดเคส เนื่องจากเคสที่ถูกเคลียร์ส่วนใหญ่เป็นธุรกรรมที่ดูผิดปกติแต่เป็นของแท้ ส่วนเคสทุจริตที่ได้รับการยืนยันมักมาจากลูกค้าที่โทรแจ้งยอดใช้จ่ายที่ไม่รู้จักซึ่งมักเป็นยอดเงินเล็กน้อย การแก้ไขจึงต้องอาศัยการเพิ่มกลุ่มข้อมูลตัวอย่างที่เป็นธุรกรรมปกติทั่วไปที่ไม่เคยผ่านการสืบสวนเข้ามาในระบบ เพื่อปรับฐานความน่าจะเป็นให้ถูกต้องตามความเป็นจริง
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น