อินเทอร์เฟซเอไอที่ดีสำคัญกว่าโมเดล: บทเรียนจาก GPT-4

ลองจินตนาการถึงการใช้เวลาหลายเดือนในการพยายามพัฒนาโมเดลปัญญาประดิษฐ์ให้เก่งขึ้น คุณอัปเกรดโมเดล เพิ่มข้อมูลฝึกอบรม ทดลองปรับแต่งคำสั่ง และเพิ่มงบประมาณโทเค็น แต่แล้วจู่ๆ ก็มีคนเปลี่ยนสิ่งที่ไม่ค่อยน่าตื่นเต้นอย่างอินเทอร์เฟซที่โมเดลใช้ทำงาน และผลลัพธ์ก็เปลี่ยนแปลงไปอย่างมหาศาล

จากการทดลองหนึ่ง GPT-4 Turbo สามารถแก้ปัญหาซอฟต์แวร์ได้เพียง 1.31% เมื่อทำงานกับระบบตั้งค่าแบบดึงข้อมูล แต่เมื่อใช้โมเดลตัวเดิม น้ำหนักเดิม และชุดทดสอบเดิม กับอินเทอร์เฟซที่สร้างขึ้นมาโดยเฉพาะ อัตราการแก้ปัญหาพุ่งสูงขึ้นถึง 12.47% หรือคิดเป็นประมาณ 9.5 เท่า โดยไม่มีการฝึกโมเดลใหม่หรือเพิ่มจุดตรวจสอบใดๆ ทั้งสิ้น สภาพแวดล้อมที่เปลี่ยนไปคือหัวใจสำคัญ

ผลลัพธ์นี้ท้าทายความเชื่อเดิมๆ ในวิศวกรรมเอไอที่ว่า เมื่อเอเยนต์ทำงานล้มเหลว ต้นตอต้องมาจากตัวโมเดลอย่างแน่นอน ซึ่งในบางครั้งก็ใช่ แต่บ่อยครั้งที่เราแค่มอบวิธีปฏิสัมพันธ์กับโลกที่ย่ำแย่ให้กับโมเดลที่มีความสามารถ และสิ่งที่น่าประหลาดใจคือ ทางออกไม่ใช่การสร้างอินเทอร์เฟซที่ใหญ่และซับซ้อนขึ้นเสมอไป เพราะบางครั้งฟีเจอร์ส่วนเกินต่างหากที่เป็นปัญหา

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

บทเรียนที่ลึกซึ้งกว่านั้นคือ ประสิทธิภาพของเอเยนต์ไม่ได้ขึ้นอยู่กับความเก่งของโมเดลฝ่ายเดียว แต่ขึ้นอยู่กับความเข้ากันได้ระหว่างโมเดลกับสภาพแวดล้อม สิ่งนี้สะท้อนให้เห็นจากการที่การจัดอันดับความสามารถของโมเดลเปลี่ยนไปตามการตั้งค่า โดย Claude 3 Opus ทำผลงานได้ดีกว่า GPT-4 Turbo ในการเปรียบเทียบระบบดึงข้อมูล แต่กลับทำได้แย่กว่าเมื่ออยู่ภายในอินเทอร์เฟซของ SWE-agent แสดงให้เห็นว่าโมเดลที่แข็งแกร่งกว่าไม่ได้ประโยชน์จากทุกอินเทอร์เฟซโดยอัตโนมัติ