JGENai และ VIDRAFT เปิดตัวเบนช์มาร์กวัดความรู้เท่าทันตนเองของ LLM
JGENai และ VIDRAFT เปิดตัวเบนช์มาร์ก Metacognition สำหรับวัดความสามารถในการตรวจจับข้อผิดพลาดของ AI พร้อมลีดเดอร์บอร์ด 24 โมเดลและอแดปเตอร์ 11 ตัวบน Hugging Face
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- JGENai และ VIDRAFT ร่วมพัฒนาเบนช์มาร์กวัดความสามารถในการตรวจจับข้อผิดพลาดของ AI
- เปิดตัวลีดเดอร์บอร์ดสาธารณะครอบคลุม 24 โมเดล และอแดปเตอร์เฉพาะรุ่น 11 ตัว
- ใช้ชุดโจทย์ทดสอบ 400 ข้อที่ออกแบบให้คำตอบแรกดูสมเหตุสมผลแต่ต้องตรวจสอบซ้ำ
- อแดปเตอร์เชื่อมต่อภายนอกโดยไม่ต้องปรับแต่งน้ำหนักโมเดลหรือโครงสร้างพื้นฐาน
วงการปัญญาประดิษฐ์ก้าวไปอีกขั้นเมื่อ JGENai ภายใต้การนำของซีอีโอ Sunyoung Choi ร่วมมือกับ VIDRAFT พัฒนาและเปิดตัวชุดทดสอบมาตรฐานระบบรู้คิดระดับสูงหรือ Metacognition สำหรับโมเดลภาษาขนาดใหญ่ (LLM) โดยมุ่งเน้นการวัดความสามารถของ AI ในการตรวจสอบและจับผิดข้อผิดพลาดของตัวเอง แทนที่จะวัดเพียงความถูกต้องในการตอบคำถามเพียงอย่างเดียว
แนวคิดหลักเบื้องหลังโครงการนี้คือช่วงเวลาที่อันตรายที่สุดของ AI ไม่ใช่ตอนที่มันตอบผิด แต่เป็นตอนที่มันไม่รู้ตัวว่าตัวเองตอบผิด ซึ่งในแวดวงที่มีความเสี่ยงสูงอย่างการแพทย์ กฎหมาย การเงิน ความปลอดภัย และการวิจัยทางวิทยาศาสตร์ ความสามารถในการตระหนักรู้และตรวจจับข้อผิดพลาดของตนเองถือเป็นสัญญาณความน่าเชื่อถือที่สำคัญที่สุด
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ชุดทดสอบดังกล่าวประกอบด้วยปัญหาเบนช์มาร์กจำนวน 400 ข้อ ซึ่งแต่ละข้อถูกออกแบบมาเพื่อให้คำตอบแรกดูมีความน่าเชื่อถือสูงมาก แต่คำตอบที่ถูกต้องจริงๆ กลับต้องอาศัยกระบวนการคิดวิเคราะห์ซ้ำและการตรวจสอบเหตุผลของโมเดลอย่างลึกซึ้ง โดยการประเมินจะถูกแบ่งออกเป็นสองแกนหลัก
การประเมินแบบสองแกนนี้ช่วยอุดช่องโหว่ที่ลีดเดอร์บอร์ดที่วัดเฉพาะความแม่นยำมักมองข้าม เนื่องจากโมเดลทั่วไปอาจทำคะแนนในแกนแรกได้ดีเยี่ยม แต่กลับบอดสนิทในแกนที่สองเมื่อต้องตรวจสอบความถูกต้องของคำตอบตัวเอง ซึ่งในเชิงวิศวกรรมซอฟต์แวร์ ความล้มเหลวแบบเงียบๆ หรือ Silent Failure นี้อันตรายกว่าโมเดลที่ตอบผิดแต่รู้ตัวว่าไม่แน่ใจเสียอีก
ในส่วนของอแดปเตอร์ Metacognition จำนวน 11 ตัวที่พัฒนาขึ้นมานั้น ถูกออกแบบมาให้ใช้งานผ่านรูปแบบการเชื่อมต่อแบบไม่รบกวนระบบเดิม (Non-invasive attachment pattern) ซึ่งมีคุณสมบัติเด่นดังนี้:
- เชื่อมต่อภายนอกเข้ากับโมเดลที่ใช้งานอยู่แล้วโดยไม่ต้องฝึกอบรมใหม่ (Retraining)
- ไม่ต้องปรับแต่งค่าความละเอียด (Fine-tuning) ของโมเดลพื้นฐาน
- ไม่กระทบต่อโครงสร้างพื้นฐานด้านการอนุมาน (Inference infrastructure) นอกจากการเพิ่มชั้นอแดปเตอร์
นักพัฒนาที่สนใจสามารถเข้าไปสำรวจชุดข้อมูลเบนช์มาร์ก ลีดเดอร์บอร์ดของโมเดลทั้ง 24 รุ่น และอแดปเตอร์ทั้ง 11 ตัวได้โดยตรงผ่านหน้าองค์กร JGENai บนแพลตฟอร์ม Hugging Face โดยสามารถใช้งานผ่านเครื่องมือคอมมานด์ไลน์ด้วยคำสั่ง huggingface-cli scan-cache หรือค้นหาผ่านหน้าเว็บไซต์ได้ทันที
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น