<div class="key-takeaways"><ul><li>Supabase เปิดตัว Evals เครื่องมือโอเพนซอร์สใต้สัญญาอนุญาต Apache-2.0</li><li>ทดสอบ AI ผ่าน 3 มิติ ได้แก่ ผลิตภัณฑ์ หัวข้อ และขั้นตอนการทำงาน</li><li>ใช้สภาพแวดล้อมจำลองจริงผ่าน Docker รองรับทั้ง MCP server และ CLI</li><li>เผยผลทดสอบโมเดลชั้นนำ เช่น Opus 5, Kimi K3, Sonnet 5 และ GPT-5.6</li></ul></div><p>Supabase สร้างความฮือฮาด้วยการปล่อยเครื่องมือโอเพนซอร์สตัวใหม่ที่มีชื่อว่า <strong>Supabase Evals</strong> เปิดให้ใช้งานแบบสาธารณะภายใต้สัญญาอนุญาต Apache-2.0 และรันบนเครื่องในเครื่องคอมพิวเตอร์ของผู้ใช้ได้ทันทีผ่าน pnpm โดยเครื่องมือนี้ถูกออกแบบมาเพื่อทดสอบและให้คะแนนความสามารถของระบบ AI เอเจนต์ต่างๆ เช่น Claude Code, Codex และ OpenCode บนโจทย์งานจริงที่ดึงมาจากปัญหาและซัพพอร์ตทิกเก็ตจริงๆ</p><p>เพื่อให้การประเมินครอบคลุมรอบด้าน ทางทีมงานได้จำแนกโครงสร้างการทดสอบออกเป็น 3 มิติหลัก ได้แก่ ผลิตภัณฑ์ (เช่น ฐานข้อมูล, ระบบยืนยันตัวตน, สตอเรจ, เอดจ์ฟังก์ชัน และอื่นๆ), หัวข้อ (เช่น RLS, ความปลอดภัย, การไมเกรตฐานข้อมูล และ SQL) รวมถึงขั้นตอนการทำงาน (ตั้งแต่การสร้าง, การ déploy, การตรวจสอบ ไปจนถึงการแก้ไขปัญหา) จากนั้นจึงคัดเลือกชุดสถานการณ์จำลองที่แตะครบทุกมิติอย่างน้อยหนึ่งครั้ง</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/supabase_evals_ai_msa9pyti_inline_1_4b3f35a777.jpg" alt="artificial intelligence coding benchmark terminal" loading="lazy" /><p class="color-gray-500 text-sm mt-10">ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง</p></div><div class="stat-row"><div class="stat-item"><span class="stat-number">100%</span><span class="stat-label">คะแนนสูงสุดของ Opus 5 และ Kimi K3</span></div><div class="stat-item"><span class="stat-number">78%ถึง100%</span><span class="stat-label">พัฒนาการของ Sonnet 5 เมื่อใส่ Skill</span></div></div><p>ในส่วนของชุดสถานการณ์จำลองจะแบ่งออกเป็น 2 ประเภท คือ ชุด Benchmark ที่เน้นความครอบคลุมและเผยแพร่ต่อสาธารณะ กับชุด Regression ที่จำลองจุดอ่อนหรือข้อผิดพลาดที่เคยเกิดขึ้น โดยจะอัปเดตใหม่ทุกวันโดยไม่กระทบต่อคะแนนที่ประกาศไปแล้ว การรันแต่ละสถานการณ์จะจำลองสภาพแวดล้อมจริงโดยบูตสแต็กและโปรเจกต์ CLI ผ่านคอนเทนเนอร์ Docker เพื่อให้ AI เอเจนต์เรียกใช้งาน MCP server และ CLI ได้จริง</p><div class="ai-insight"><p>การที่ Supabase สร้างชุดทดสอบ Evals ขึ้นมาสะท้อนให้เห็นถึงความพยายามในการผลักดันให้ AI สามารถทำงานเฉพาะทางด้านแบ็คเอนด์และฐานข้อมูลได้อย่างแม่นยำยิ่งขึ้น เนื่องจากงานด้านฐานข้อมูลมีความซับซ้อนและผิดพลาดไม่ได้ การมีชุด Benchmark ที่อิงจากปัญหาผู้ใช้งานจริงจึงช่วยให้ผู้พัฒนาโมเดลมองเห็นจุดบกพร่องและแนวทางพัฒนา AI ให้เข้าใจเครื่องมืออย่าง Supabase ลึกซึ้งยิ่งกว่าเดิม</p></div><p>ผลจากการทดสอบจริงพบว่า เอเจนต์ส่วนใหญ่สามารถผ่านโจทย์ส่วนใหญ่ได้แม้จะไม่ได้โหลด Skill พิเศษ โดยในขั้นตอนการสร้าง (Build stage) ทั้ง Opus 5 และ Kimi K3 ทำคะแนนได้ 100% เต็มแบบไม่ต้องพึ่งตัวช่วย ขณะที่การเพิ่ม Skill ช่วยปิดช่องว่างคะแนนให้โมเดลอื่น เช่น Sonnet 5 ขยับขึ้นจาก 78% เป็น 100% และ GPT-5.6 Sol จาก 89% เป็น 100%</p><p>อย่างไรก็ตาม การทดสอบยังเผยให้เห็นจุดอ่อน 3 ประการ ได้แก่ เอเจนต์มักเขียนโค้ดไมเกรตด้วยมือแทนที่จะใช้ระบบ declarative schemas, มักตรวจสอบระบบยืนยันตัวตนด้วยวิธีอื่นแทนที่จะเรียกใช้แพ็กเกจ @supabase/server และพฤติกรรมการอ่านเอกสารที่แตกต่างกันอย่างมาก โดย Codex หรือ GPT-5.6 อ่านเอกสารประกอบราว 8 หน้าต่อหนึ่งสถานการณ์ ในขณะที่ Claude Code เปิดอ่านเอกสารไม่ถึง 40% ของสถานการณ์ทั้งหมดแม้จะใส่ Skill แล้วก็ตาม</p><p class="source-attribution">ที่มา: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/08/01/supabase-releases-evals-an-open-source-benchmark-that-scores-claude-code-codex-and-opencode-on-real-supabase-tasks/" target="_blank" rel="noopener noreferrer">MarkTechPost</a></p>

<div class="key-takeaways"><ul><li>Supabase Evals is a new open-source benchmarking tool under Apache-2.0.</li><li>Evaluates AI agents across products, topics, and development stages.</li><li>Runs real environments in Docker containers utilizing actual MCP servers and CLI.</li><li>Reveals performance metrics for top-tier models including Opus 5, Kimi K3, and Sonnet 5.</li></ul></div><p>Supabase has officially released <strong>Supabase Evals</strong>, a public open-source benchmarking framework available under the Apache-2.0 license. Designed to run locally via pnpm, the tool measures the performance and accuracy of AI coding agents such as Claude Code, Codex, and OpenCode using scenarios grounded in actual bug reports, support tickets, and GitHub issues.</p><p>To ensure thorough evaluation, Supabase structured the benchmark across three core dimensions: products (encompassing databases, auth, storage, edge functions, and more), topics (such as RLS, security, migrations, and SQL), and stages (ranging from build and deploy to investigate and resolve). The framework then selects a concise scenario set touching each dimension.</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/supabase_evals_ai_msa9pyti_inline_1_4b3f35a777.jpg" alt="artificial intelligence coding benchmark terminal" loading="lazy" /><p class="color-gray-500 text-sm mt-10">Stock photo for illustration only, not from the actual event</p></div><div class="stat-row"><div class="stat-item"><span class="stat-number">100%</span><span class="stat-label">Score achieved unaided by Opus 5 and Kimi K3</span></div><div class="stat-item"><span class="stat-number">78%-100%</span><span class="stat-label">Sonnet 5 improvement after adding skills</span></div></div><p>The scenarios are split into two distinct suites. Benchmark scenarios test breadth and are publicly published, while regression scenarios target known failure modes, refresh daily, and leave published scores unaffected. Every scenario runs against a live environment where the framework boots a hosted-like stack and a local CLI project inside containers, allowing agents to interact directly with the real MCP server and CLI.</p><div class="ai-insight"><p>The introduction of Supabase Evals highlights a crucial shift toward domain-specific benchmarking for generative AI in backend engineering. Generic coding benchmarks often fail to capture the intricacies of managing databases, security policies, and cloud infrastructure. By anchoring tests in real-world support tickets and containerized local stacks, Supabase provides an invaluable yardstick for measuring how well AI assistants handle complex developer workflows.</p><p>Interestingly, the framework's design—combining deterministic checks with an LLM-as-a-judge approach—sets a new standard for evaluating non-deterministic agent outputs in enterprise software environments.</p></div><p>Test results demonstrated that agents successfully clear most scenarios without any pre-loaded skills. During the build stage, both Opus 5 and Kimi K3 achieved a perfect 100% unaided. Integrating custom skills successfully closed remaining performance gaps for other models, lifting Sonnet 5 from 78% to 100% and GPT-5.6 Sol from 89% to 100%.</p><p>Despite strong performances, the evaluation uncovered three notable weaknesses: agents tend to hand-write database migrations rather than using declarative schemas, they verify authentication manually instead of utilizing the @supabase/server package, and documentation consumption varies wildly—with Codex reading around 8 documentation pages per scenario compared to Claude Code, which checks documentation in under 40% of scenarios.</p><p class="source-attribution">Source: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/08/01/supabase-releases-evals-an-open-source-benchmark-that-scores-claude-code-codex-and-opencode-on-real-supabase-tasks/" target="_blank" rel="noopener noreferrer">MarkTechPost</a></p>

medium_article-1156.jpg

small_article-1156.jpg

thumbnail_article-1156.jpg

Inewgen

Inewgen

#OpenCode

Supabase Releases Evals: An Open Source Benchmark for AI Coding Agents

Inewgen