เตือนภัย AI จัดฉากข้อมูลหลอกตา ตารางสวยซ่อนความพลาดถึง 5 จาก 8 ข้อ

เหตุการณ์เริ่มต้นขึ้นเมื่อเอเจนต์ AI เขียนประโยคสารภาพตรงๆ ว่า "I cannot verify this" หรือฉันไม่สามารถตรวจสอบข้อมูลนี้ได้ในข้อความคำตอบเดียวกัน หลังจากผ่านไปสี่สิบย่อหน้า ตัว AI กลับนำข้อมูลส่วนที่ไม่ได้รับการยืนยันนั้นไปใส่ไว้ในตารางมาร์กดาวน์ที่มีหัวคอลัมน์และแถวแยกตามรายการอย่างเป็นระเบียบ ตัวคำเตือนนั้นมีความจริงใจ แต่ตัวตารางกลับแสดงความมั่นใจอย่างเต็มเปี่ยม และสุดท้ายความมั่นใจในรูปแบบโครงสร้างก็เป็นฝ่ายชนะใจผู้ใช้งานเสมอ ปัญหานี้ไม่ได้เกิดขึ้นกับเครื่องจักรเท่านั้น แต่มนุษย์อย่างเราก็เคยทำพฤติกรรมทำนองนี้มาแล้วหลายครั้ง เช่น การใส่ข้อความระมัดระวังในเธรดบน Slack แล้วแปบสรุปสะอาดตาไว้ข้างใต้ หรือการเขียนคำว่าตัวเลขคร่าวๆ ไว้บนสเปรดชีตที่ทุกเซลล์จัดเรียงชิดขวาและแสดงผลทศนิยมสองตำแหน่ง รวมถึงการบอกหัวหน้าว่าการประเมินเวลานั้นยังไม่นิ่ง แต่กลับนำไปใส่ในแผนภูมิ Gantt ที่มีวันเริ่มต้นและวันสิ้นสุดอย่างชัดเจน ข้อความแสดงความไม่มั่นใจจะถูกซ่อนไว้ในประโยค ส่วนคำตอบที่ดูหนักแน่นจะถูกใส่ไว้ในโครงสร้าง และโครงสร้างมצאมชนะเสมอเพราะมนุษย์เราเลือกที่จะปฏิบัติตามสิ่งที่มองเห็นเป็นระบบ

งานที่ได้รับมอบหมายในตอนนั้นเป็นงานธรรมดา คือการแนะนำภาพยนตร์บางเรื่องพร้อมระบุว่าภาพยนตร์เหล่านั้นเปิดให้รับชมบนบริการสตรีมมิ่งเฉพาะในประเทศใดประเทศหนึ่งหรือไม่ ตัว AI รู้และกล่าวด้วยซ้ำว่าแคตตาล็อกสตรีมมิ่งระดับภูมิภาคมีการหมุนเวียนเปลี่ยนไปตลอดเวลา และความจำของมันเกี่ยวกับเรื่องนี้มีความน่าเชื่อถือไม่เพียงพอ ซึ่งถือเป็นสัญชาตญาณที่ถูกต้องและระบุไว้อย่างชัดเจนเป็นลายลักษณ์อักษร แต่แล้วมันก็สร้างตารางแนะนำภาพยนตร์ออกมาอยู่ดี เมื่อผู้พัฒนาบังคับให้มันตรวจสอบกับแหล่งข้อมูลการให้บริการแบบสดๆ ทีละรายการ พบความจริงว่า 5 จาก 8 เรื่องในตารางนั้นไม่ได้อยู่บนแพลตฟอร์มดังกล่าวเลยแม้แต่เรื่องเดียว ไม่ใช่ว่าเพิ่งถูกถอดออกไป แต่ไม่มีอยู่จริงในประเทศนั้นและในวันนั้นเลย ภาพยนตร์ที่ถูกอธิบายว่าเป็นตัวเลือกที่ดีที่สุดและตรงกับความต้องการมากที่สุดก็อยู่ในกลุ่มข้อมูลที่ผิดพลาดนี้ด้วย สิ่งที่น่ากังวลยิ่งกว่าความผิดพลาดคือ ไม่มีส่วนใดในผลลัพธ์นั้นที่ดูมีความไม่แน่นอนเลย ความรู้เกี่ยวกับภาพยนตร์มีความแน่นหนา การตัดสินคุณภาพทำได้ดี และเรตติ้งทุกตัวอยู่ในระดับที่ยอมรับได้ มีข้อเท็จจริงเพียงแคบๆ อย่างเดียวเท่านั้นที่เน่าเสีย แต่มันดันเป็นข้อเท็จจริงประเภทที่เปลี่ยนแปลงทุกเดือนในขณะที่ให้ความรู้สึกราวกับว่าเป็นเรื่องถาวร

ความสามารถในการเรียกคืนข้อมูลด้วยความมั่นใจและการเรียกคืนข้อมูลที่ถูกต้อง จะสร้างผลลัพธ์หน้าตาเหมือนกันจนแยกไม่ออก ไม่มีจุดสังเกตใดๆ ทั้งสิ้น และสิ่งนี้เกิดขึ้นทั้งกับตัวผู้พัฒนาเองที่เขียนการประเมินงาน และตัวแบบจำลองที่สร้างตารางข้อมล ทุกคนรู้อยู่แล้วว่าต้องตรวจสอบข้อมูล แต่คำแนะนำนั้นไม่เคยเปลี่ยนพฤติกรรมของใครเลย คำเตือนที่เป็นข้อความธรรมดาไม่สามารถลบล้างการยืนยันที่อยู่ในรูปของโครงสร้างได้ สิ่งเหล่านี้ไม่เคยมีน้ำหนักเท่ากันในสายตาของผู้อ่าน ตารางถือเป็นรูปแบบที่แสดงถึงอำนาจและความน่าเชื่อถือ เช่นเดียวกับรายการที่มีตัวเลขกำกับ เมทริกซ์เปรียบเทียบ เปอร์เซ็นต์ความมั่นใจ แผนภูมิที่มีแกน หรือสคีมาที่มีประเภทข้อมูล สิ่งเหล่านี้แฝงการอ้างอิงโดยปริยายว่าค่าภายในนั้นมาจากแหล่งข้อมูลจริง ไม่ได้มาจากการคาดเดา เมื่อนำเนื้อหาที่ยังไม่ได้รับการตรวจสอบไปใส่ไว้ในภาชนะเหล่านี้ ตัวภาชนะจะทำการยกระดับความน่าเชื่อถือให้ทันที ในขณะที่คำเตือนที่อยู่ข้างบนในรูปแบบข้อความอ่อนๆ จะไร้ผลโดยสิ้นเชิง ปัญหานี้มีความสำคัญมากกว่ากับผลลัพธ์จากเอเจนต์ เนื่องจากเหตุผลทางกลไกที่ว่า เอเจนต์สร้างข้อมูลที่มีโครงสร้างอยู่ตลอดเวลาเพราะมันง่ายต่อการแยกวิเคราะห์ ง่ายต่อการแสดงผล และง่ายต่อการป้อนเข้าสู่ขั้นตอนถัดไป รูปแบบที่ทำให้เครื่องจักรนำผลลัพธ์ไปใช้งานต่อได้ง่าย ก็คือรูปแบบเดียวกันกับที่ทำให้มันดูเหมือนผ่านการตรวจสอบมาแล้ว ความล้มเหลวจึงขยายตัวตามความสมบูรณ์ของระบบท่อส่งข้อมูล

ดังนั้น สิ่งที่ควรหยุดทำคือการตรวจสอบภาษาที่ใช้แสดงความลังเลใจ เพราะมันเป็นเพียงสิ่งประดับและมีแต่คนกวาดสายตาผ่านไปอย่างรวดเร็ว ให้เปลี่ยนมาถามแทนว่าคำกล่าวอ้างใดในผลลัพธ์ที่ไปนั่งอยู่ในภาชนะแห่งอำนาจ เช่น ตาราง เมทริกซ์ ฟิลด์ที่มีการกำหนดประเภท หรืออะไรก็ตามที่มีแถวหัวข้อ สำหรับแต่ละรายการ ให้ตั้งคำถามว่าค่าเหล่านี้มาจากแหล่งข้อมูลจริงหรือมาจากการที่ AI จำข้อมูลมาตอบ ถ้าหากพวกมันมาจากการจำมาตอบ ข้อมูลเหล่านั้นจะไม่มีสิทธิ์อยู่ในภาชนะโครงสร้าง แต่จะถูกลดรูปให้อยู่ในรูปแบบประโยคธรรมดาในระดับเดียวกับความลังเลใจ เพื่อให้สัญญาณความมั่นใจและสถานะความรู้ความเข้าใจสอดคล้องกัน นี่คือวิธีการแก้ปัญหาทั้งหมด นั่นคือการลดระดับรูปแบบการแสดงผลให้ตรงกับแหล่งที่มาของข้อมูล ผลลัพธ์ที่ตามมาคือ หากคำกล่าวอ้างไม่มีค่าใช้จ่ายในการตรวจสอบ ก็ไม่คุ้มค่าที่จะนำไปใส่ในแถวของตารางเช่นกัน ทางเลือกสายกลางอย่างการไม่ตรวจสอบอะไรเลยแต่จัดรูปแบบให้ออกมาสวยงาม คือจุดเริ่มต้นที่ทำให้ผู้คนต้องเจ็บปวดจากความผิดพลาดที่มั่นใจเกินไป กระบวนการตรวจสอบมักถูกขายว่าเป็นเหมือนการประกันภัยบริสุทธิ์ แต่ในทางปฏิบัติมันยังเป็นพื้นที่ที่ซ่อนคำตอบที่ไม่คาดคิดเอาไว้ด้วย เนื่องจากการตรวจสอบแหล่งข้อมูลสดทำให้พบว่าหนึ่งในภาพยนตร์ที่หายไปจากแพลตฟอร์ม กลับเปิดให้รับชมได้ฟรีพร้อมโฆษณาบนบริการอีกแห่งที่ไม่มีใครนึกถึง ซึ่งถือเป็นคำตอบที่ดีกว่าเวอร์ชันเกือบจะถูกนำไปใช้งานจริงเสียอีก

ที่มา: Dev.to