CauterRule v0.1.0: โมเดล AI ที่เก่งขึ้นแก้ปัญหาได้จริงไหม?

ในวงการวิศวกรรม AI มักมีความเชื่อปลอบใจอยู่เสมอว่า เมื่อระบบมีปัญหา ต้นเหตุน่าจะมาจากตัวโมเดลเอง หากยอมจ่ายเงินเพิ่มหรือเปลี่ยนไปใช้โมเดลที่ทรงพลังกว่า ผลลัพธ์ของผลิตภัณฑ์ก็จะดีขึ้นตามไปด้วย แต่บางครั้งความจริงก็ไม่ได้เป็นเช่นนั้นเสมอไป ซึ่งบทเรียนนี้ได้รับจากการทดสอบภาคสนามของ CauterRule

หลังจากทีมงานแก้ไขปัญหาในส่วนของตัวแยกวิเคราะห์ คำสั่ง พรอมต์ และประทับเวลาของคอร์ปัสเรียบร้อยแล้ว พวกเขาก็ได้ชุดเกณฑ์มาตรฐานที่เชื่อถือได้สำหรับการทดสอบบนคลาวด์ โดยนำโมเดลคลาวด์หลัก 2 ตัว ได้แก่ openai/gpt-4o-mini และ meta-llama/llama-3.1-8b-instruct มาทดสอบผ่านคอร์ปัสทั้งหมด เพื่อหาคำตอบว่าปัญหาที่เหลืออยู่เกิดจากข้อจำกัดของโมเดลท้องถิ่นหรือเป็นปัญหาของตัวผลิตภัณฑ์กันแน่

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

ผลการเปรียบเทียบในภาพรวมจากคอร์ปัสทั้งหมดระบุว่า โมเดลคลาวด์ช่วยขจัดปัญหาความคลุมเครือเรื่องรูปแบบและความพร้อมใช้งานได้เกือบทั้งหมด โดย meta-llama/llama-3.1-8b-instruct ทำสถิติผ่านการทดสอบสูงสุดถึง 123 ผ่าน จาก 392 แคนดิเดต ขณะที่ gpt-4o-mini มีความคุ้มค่าและเสถียรในการทำงานครอบคลุมทุกเทรเจกทอรี

อย่างไรก็ตาม แม้โมเดลจะเก่งขึ้น แต่มันก็ยังไม่สามารถแก้ปัญหาเรื่องผลิตภัณฑ์ได้เบ็ดเสร็จ โดย Llama 3.1 8B ยังคงผลิตผลลัพธ์ที่ไม่สรุปผลถึง 168 รายการ และล้มเหลวอีก 101 รายการ ซึ่งคิดเป็น 69% ของผลลัพธ์ทั้งหมดที่ยังไม่สามารถนำไปใช้งานได้จริง