Supabase เปิดตัว Evals ระบบประเมิน AI ตัวใหม่สำหรับทดสอบงานฐานข้อมูลจริง
Supabase ปล่อยเครื่องมือโอเพนซอร์ส Evals พร้อมใช้งานแบบโลคัล เพื่อวัดประสิทธิภาพระบบ AI เช่น Claude Code, Codex และ OpenCode ผ่านโจทย์งานจริง
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Supabase เปิดตัว Evals เครื่องมือโอเพนซอร์สใต้สัญญาอนุญาต Apache-2.0
- ทดสอบ AI ผ่าน 3 มิติ ได้แก่ ผลิตภัณฑ์ หัวข้อ และขั้นตอนการทำงาน
- ใช้สภาพแวดล้อมจำลองจริงผ่าน Docker รองรับทั้ง MCP server และ CLI
- เผยผลทดสอบโมเดลชั้นนำ เช่น Opus 5, Kimi K3, Sonnet 5 และ GPT-5.6
Supabase สร้างความฮือฮาด้วยการปล่อยเครื่องมือโอเพนซอร์สตัวใหม่ที่มีชื่อว่า Supabase Evals เปิดให้ใช้งานแบบสาธารณะภายใต้สัญญาอนุญาต Apache-2.0 และรันบนเครื่องในเครื่องคอมพิวเตอร์ของผู้ใช้ได้ทันทีผ่าน pnpm โดยเครื่องมือนี้ถูกออกแบบมาเพื่อทดสอบและให้คะแนนความสามารถของระบบ AI เอเจนต์ต่างๆ เช่น Claude Code, Codex และ OpenCode บนโจทย์งานจริงที่ดึงมาจากปัญหาและซัพพอร์ตทิกเก็ตจริงๆ
เพื่อให้การประเมินครอบคลุมรอบด้าน ทางทีมงานได้จำแนกโครงสร้างการทดสอบออกเป็น 3 มิติหลัก ได้แก่ ผลิตภัณฑ์ (เช่น ฐานข้อมูล, ระบบยืนยันตัวตน, สตอเรจ, เอดจ์ฟังก์ชัน และอื่นๆ), หัวข้อ (เช่น RLS, ความปลอดภัย, การไมเกรตฐานข้อมูล และ SQL) รวมถึงขั้นตอนการทำงาน (ตั้งแต่การสร้าง, การ déploy, การตรวจสอบ ไปจนถึงการแก้ไขปัญหา) จากนั้นจึงคัดเลือกชุดสถานการณ์จำลองที่แตะครบทุกมิติอย่างน้อยหนึ่งครั้ง
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในส่วนของชุดสถานการณ์จำลองจะแบ่งออกเป็น 2 ประเภท คือ ชุด Benchmark ที่เน้นความครอบคลุมและเผยแพร่ต่อสาธารณะ กับชุด Regression ที่จำลองจุดอ่อนหรือข้อผิดพลาดที่เคยเกิดขึ้น โดยจะอัปเดตใหม่ทุกวันโดยไม่กระทบต่อคะแนนที่ประกาศไปแล้ว การรันแต่ละสถานการณ์จะจำลองสภาพแวดล้อมจริงโดยบูตสแต็กและโปรเจกต์ CLI ผ่านคอนเทนเนอร์ Docker เพื่อให้ AI เอเจนต์เรียกใช้งาน MCP server และ CLI ได้จริง
การที่ Supabase สร้างชุดทดสอบ Evals ขึ้นมาสะท้อนให้เห็นถึงความพยายามในการผลักดันให้ AI สามารถทำงานเฉพาะทางด้านแบ็คเอนด์และฐานข้อมูลได้อย่างแม่นยำยิ่งขึ้น เนื่องจากงานด้านฐานข้อมูลมีความซับซ้อนและผิดพลาดไม่ได้ การมีชุด Benchmark ที่อิงจากปัญหาผู้ใช้งานจริงจึงช่วยให้ผู้พัฒนาโมเดลมองเห็นจุดบกพร่องและแนวทางพัฒนา AI ให้เข้าใจเครื่องมืออย่าง Supabase ลึกซึ้งยิ่งกว่าเดิม
ผลจากการทดสอบจริงพบว่า เอเจนต์ส่วนใหญ่สามารถผ่านโจทย์ส่วนใหญ่ได้แม้จะไม่ได้โหลด Skill พิเศษ โดยในขั้นตอนการสร้าง (Build stage) ทั้ง Opus 5 และ Kimi K3 ทำคะแนนได้ 100% เต็มแบบไม่ต้องพึ่งตัวช่วย ขณะที่การเพิ่ม Skill ช่วยปิดช่องว่างคะแนนให้โมเดลอื่น เช่น Sonnet 5 ขยับขึ้นจาก 78% เป็น 100% และ GPT-5.6 Sol จาก 89% เป็น 100%
อย่างไรก็ตาม การทดสอบยังเผยให้เห็นจุดอ่อน 3 ประการ ได้แก่ เอเจนต์มักเขียนโค้ดไมเกรตด้วยมือแทนที่จะใช้ระบบ declarative schemas, มักตรวจสอบระบบยืนยันตัวตนด้วยวิธีอื่นแทนที่จะเรียกใช้แพ็กเกจ @supabase/server และพฤติกรรมการอ่านเอกสารที่แตกต่างกันอย่างมาก โดย Codex หรือ GPT-5.6 อ่านเอกสารประกอบราว 8 หน้าต่อหนึ่งสถานการณ์ ในขณะที่ Claude Code เปิดอ่านเอกสารไม่ถึง 40% ของสถานการณ์ทั้งหมดแม้จะใส่ Skill แล้วก็ตาม
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น