<div class="key-takeaways"><ul><li>รองรับ Claude Code v2.1.269 ขึ้นไปและเรียกเก็บเงินตามการใช้งานจริงผ่าน API</li><li>ชุดประเมินจัดเก็บในโฟลเดอร์ evals/ ของปลั๊กอินพร้อมระบุเงื่อนไขการทำงาน</li><li>มีเครื่องมือตรวจวัด 6 แบบ ทั้งแบบคำนวณอัตโนมัติและเรียกใช้โมเดลตัดสิน</li><li>เปรียบเทียบผลลัพธ์ระหว่างกรณีเปิดและปิดใช้งานปลั๊กอินเพื่อหาค่า Δ ที่แท้จริง</li></ul></div>Anthropic ได้เพิ่มความสามารถในการประเมินปลั๊กอินหรือ Plugin Evaluations เข้าสู่ Claude Code ตั้งแต่เวอร์ชัน v2.1.269 เป็นต้นไป เพื่อช่วยให้นักพัฒนาสามารถทดสอบและวัดประสิทธิภาพของปลั๊กอินและทักษะต่างๆ ได้อย่างเป็นระบบ โดยเครื่องมือนี้รองรับการทำงานกับไดเรกทอรีที่มีไฟล์ manifest เช่น plugin.json หรือไดเรกทอรีทักษะ ทั้งนี้การรันประเมินทุกครั้งจะนับเป็นการเรียกใช้โมเดลจริงและมีการคิดค่าใช้จ่ายตามแพ็กเกจหรือบัญชี API ของผู้ใช้งานโครงสร้างของชุดประเมินจะถูกจัดเก็บไว้ภายในโฟลเดอร์ evals/ ของตัวปลั๊กอิน โดยแต่ละกรณีทดสอบ (test case) จะเป็นโฟลเดอร์ย่อยที่บรรจุไฟล์ prompt.md และโฟลเดอร์ graders/ สำหรับเนื้อหาใน prompt.md จะถูกส่งตรงไปยัง Claude ตามตัวอักษรโดยไม่มีการขยายเครื่องหมาย @path ส่วนชุดคำสั่ง frontmatter จะทำหน้าที่กำหนดค่าต่างๆ เช่น จำนวนรอบสูงสุด (max_turns) กำหนดเวลา (timeout_seconds) รุ่นของโมเดล แท็ก และเครื่องมือที่อนุญาตให้ใช้งาน<div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/anthropic_claude_code_mtxkpjod_inline_1_c23876b5ec.jpg" alt="software developer computer workspace notebook computer office desk workspace" loading="lazy" />ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง</div>ในส่วนของเครื่องมือตรวจวัดหรือ Graders จะอยู่ในรูปของไฟล์ Markdown ที่กำหนดประเภท (type) น้ำหนัก (weight) และอาร์ม (arm) ผ่านทาง frontmatter โดยมีประเภททั้งหมด 6 แบบ ดังนี้:<ul><li>regex: ตรวจสอบจากข้อความถอดบทสนทนาและไฟล์บนดิสก์ (ไม่เสียค่าใช้จ่าย)</li><li>tool_used: ตรวจสอบการเรียกใช้เครื่องมือ (ไม่เสียค่าใช้จ่าย)</li><li>tool_order: ตรวจสอบลำดับการเรียกใช้เครื่องมือ (ไม่เสียค่าใช้จ่าย)</li><li>file_exists: ตรวจสอบการมีอยู่ของไฟล์ (ไม่เสียค่าใช้จ่าย)</li><li>llm: ใช้โมเดลผู้ตัดสินให้คะแนนตามเกณฑ์ข้อความที่กำหนด (มีค่าใช้จ่าย)</li><li>baseline: เปรียบเทียบผลลัพธ์กับคำตอบอ้างอิง (มีค่าใช้จ่าย)</li></ul><div class="ai-insight">การเพิ่มระบบประเมินปลั๊กอินเข้ามาใน Claude Code ถือเป็นการยกระดับกระบวนการพัฒนา AI Agents ไปอีกขั้น เนื่องจากที่ผ่านมาชุมชนนักพัฒนามักพบปัญหาว่าโมเดลไม่เลือกใช้ทักษะที่สร้างขึ้นแม้ตัวโค้ดหรือชุดคำสั่งจะถูกต้องตามหลักไวยากรณ์ การวัดผลเปรียบเทียบระหว่างเปิดและปิดปลั๊กอิน (Δ) จึงช่วยให้เห็นประสิทธิภาพที่แท้จริงและลดช่องว่างระหว่างการทดสอบในห้องแล็บกับการใช้งานจริงในสภาพแวดล้อมการทำงาน</div>ตามค่าเริ่มต้น ระบบจะทำการทดสอบกรณีละสองรอบ ได้แก่ รอบที่เปิดใช้งานปลั๊กอินและรอบที่ไม่มีการโหลดปลั๊กอิน เพื่อนำผลลัพธ์มาหาค่าความต่างหรือค่า Δ ซึ่งสะท้อนถึงประสิทธิภาพที่ปลั๊กอินนั้นสร้างขึ้นจริงๆ หากกรณีทดสอบได้คะแนน 1.0 ทั้งสองรอบ แสดงว่าปลั๊กอินไม่ได้เป็นสาเหตุที่ทำให้ผ่านการทดสอบนั้น นอกจากนี้ยังมีคำสั่ง claude plugin eval init ที่คอยช่วยอ่านปลั๊กอิน สัมภาษณ์ความต้องการ สร้างกรณีทดสอบเบื้องต้น และเขียนไฟล์ให้อัตโนมัติ หรือใช้คำสั่ง --bare สำหรับการรันบนระบบ CI<blockquote class="pull-quote">"Anthropic calls out the most common first finding: a Δ near zero with the tool_used: Skill grader failing, which means Claude is not choosing the skill on natural phrasing."<cite>MarkTechPost</cite></blockquote>รายงานผลลัพธ์จะถูกบันทึกไว้ในไดเรกทอรี evals/results/ พร้อมรายละเอียดคำตัดสินและคะแนนจากผู้ตรวจ นอกจากนี้ระบบยังรองรับการเผยแพร่รายงานไปยัง claude.ai โดยอัตโนมัติหากบัญชีผู้ใช้รองรับ ยกเว้นว่าจะมีการระบุคำสั่ง --no-publish เพื่อปิดการใช้งานดังกล่าว สำหรับการรันบนระบบ CI ทางเอกสารได้แนะนำรูปแบบคำสั่งที่กำหนดขีดจำกัดต้นทุนสูงสุดด้วยพารามิเตอร์ --max-cost-usd 20 พร้อมระบุความจำเป็นในการติดตั้ง Claude Code และชุดข้อมูลรับรองเช่น ANTHROPIC_API_KEYที่มา: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/09/11/anthropic-adds-plugin-evals-to-claude-code-6-grader-types-a-no-plugin-baseline-and-a-ci-gate-for-skills/" target="_blank" rel="noopener noreferrer">MarkTechPost</a>

<div class="key-takeaways"><ul><li>Compatible with Claude Code v2.1.269 and later with billed API model calls</li><li>Evaluation suites reside in evals/ directories inside each plugin folder</li><li>Features 6 grader types combining computed checks and LLM judge models</li><li>Measures true plugin impact by comparing runs with and without the plugin</li></ul></div>Anthropic has introduced plugin evaluations to Claude Code starting with version v2.1.269, equipping developers with systematic tools to test and measure the performance of plugins and custom skills. The framework operates on any directory featuring a plugin.json manifest or a designated skills directory. Every evaluation execution constitutes a live model call billed directly to the user's plan or API account.An evaluation suite is structured within an evals/ directory located inside the plugin folder. Each test case occupies a subdirectory containing a prompt.md file and a graders/ folder. The prompt body is transmitted to Claude exactly as written without expanding @path references, while frontmatter configurations dictate parameters such as max_turns (default 10), timeout_seconds (default 300), model specifications, tags, and allowed tools.<div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/anthropic_claude_code_mtxkpjod_inline_1_c23876b5ec.jpg" alt="software developer computer workspace notebook computer office desk workspace" loading="lazy" />Stock photo for illustration only, not from the actual event</div>Graders are authored as markdown files utilizing frontmatter to declare their type, optional weight, and optional arm attributes. The framework provides 6 distinct grader types:<ul><li>regex: Computes checks from transcripts and disk files at zero cost</li><li>tool_used: Validates tool invocation at zero cost</li><li>tool_order: Checks the execution sequence of tools at zero cost</li><li>file_exists: Verifies target file presence at zero cost</li><li>llm: Invokes a judge model to score replies against prose criteria</li><li>baseline: Compares outputs against a reference answer</li></ul><div class="ai-insight">Integrating plugin evaluations directly into Claude Code addresses a crucial visibility gap in AI agent development. Historically, developers often struggled when models failed to invoke custom skills naturally despite correct syntax schemas. By establishing a delta-based comparison between active and inactive plugin states, this feature bridges the divide between controlled laboratory tests and unpredictable production behavior.</div>By default, each test case executes twice: once with the plugin loaded and once without it. The resulting difference, denoted as delta, isolates the actual contribution provided by the plugin. If a case scores 1.0 in both scenarios, the plugin was not the driving factor behind the success. Additionally, the initialization command claude plugin eval init inspects plugins, proposes valid test cases, and generates necessary files, while the --bare flag accommodates headless CI pipelines.<blockquote class="pull-quote">"Anthropic calls out the most common first finding: a Δ near zero with the tool_used: Skill grader failing, which means Claude is not choosing the skill on natural phrasing."<cite>MarkTechPost</cite></blockquote>Execution reports are generated under evals/results/ containing granular verdicts and judge votes. Supported accounts will automatically publish these reports to claude.ai unless suppressed via the --no-publish flag. Documented CI runner invocations utilize cost control flags such as --max-cost-usd 20, requiring a functional Claude Code installation alongside active credentials like ANTHROPIC_API_KEY to execute successfully.Source: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/09/11/anthropic-adds-plugin-evals-to-claude-code-6-grader-types-a-no-plugin-baseline-and-a-ci-gate-for-skills/" target="_blank" rel="noopener noreferrer">MarkTechPost</a>

medium_anthropic-เปิดตัวระบบประเมินปลั๊กอินสำหรับ-claude-code-mtxkpjod.jpg

small_anthropic-เปิดตัวระบบประเมินปลั๊กอินสำหรับ-claude-code-mtxkpjod.jpg

thumbnail_anthropic-เปิดตัวระบบประเมินปลั๊กอินสำหรับ-claude-code-mtxkpjod.jpg

Inewgen

Inewgen

#Plugin Evaluation

Anthropic Adds Plugin Evals to Claude Code

Inewgen