Skill Inspector: เครื่องมือ Linter สำหรับทักษะ AI Agent
ทำความรู้จัก Skill Inspector เครื่องมือตรวจสอบ ตรวจสอบข้อผิดพลาด และสร้างชุดทดสอบสำหรับไฟล์ SKILL.md เพื่อช่วยเหล่านักพัฒนา AI
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Skill Inspector เป็นเครื่องมือเว็บและ CLI สำหรับตรวจสอบแพ็กเกจทักษะ agentskills.io
- รองรับการตรวจสอบ Static Validation ตรวจสอบไฟล์ในโฟลเดอร์ และคำนวณ Token
- ใช้ LLM-as-a-Judge ให้คะแนน 4 ด้าน และสร้างชุดทดสอบ 10-16 กรณี
- รองรับการแก้ไขอัตโนมัติและมีโหมดใช้งานสำหรับ Claude Code โดยเฉพาะ
ในปัจจุบันทักษะของ AI Agent กำลังเปลี่ยนรูปไปเป็นไฟล์คอนฟิก โดยไฟล์ SKILL.md จะประกอบไปด้วย Frontmatter คำสั่งต่างๆ และโฟลเดอร์สำหรับสคริปต์รวมถึงข้อมูลอ้างอิง ซึ่งปัญหาส่วนใหญ่ของไฟล์คอนฟิกเหล่านี้มักจะแสดงข้อผิดพลาดออกมาให้เห็นในระหว่างรันไทม์เมื่อตัวเอเจนต์เริ่มทำงานผิดปกติ เพื่อแก้ปัญหานี้ นักพัฒนาจึงได้สร้างเครื่องมือที่มีชื่อว่า Skill Inspector ขึ้นมา
Skill Inspector ทำหน้าที่เป็นสตูดิโอตรวจสอบแบบเว็บและ CLI สำหรับแพ็กเกจทักษะที่ใช้รูปแบบของ agentskills.io โดยทำหน้าที่เป็นทั้ง Linter, ตัวจัดรูปแบบ (Formatter) และเครื่องมือสร้างชุดทดสอบสำหรับไฟล์ SKILL.md โดยระบบตรวจสอบแบบสถิต (Static Validation) จะครอบคลุมทุกกฎตามสเปกของ agentskills.io ไม่ว่าจะเป็นรูปแบบและความยาวของชื่อ ฟิลด์ที่จำเป็น ขีดจำกัดคำอธิบาย คำเตือนขนาดเนื้อหา และฟิลด์ Frontmatter ที่ไม่รู้จัก ซึ่งแต่ละข้อผิดพลาดจะมีรหัสกฎและระดับความรุนแรงระบุไว้เป็น FAIL หรือ WARN
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในส่วนของการจัดการแพ็กเกจ ระบบจะเริ่มทำงานเมื่อชี้ไปที่ไดเรกทอรีทักษะด้วยคำสั่ง --base-dir ซึ่งจะทำการตรวจสอบไฟล์ทั้งหมดที่อ้างอิงภายใต้โฟลเดอร์ scripts/, references/ และ assets/ พร้อมทั้งแจ้งเตือนกรณีที่ไฟล์หายไป ไฟล์ว่างเปล่า หรือมีความพยายามในการเข้าถึงพาธที่ไม่ถูกต้อง (../)
ระบบ Token economics จะแสดงผลวิเคราะห์การใช้โทเค็นแบบสดๆ ทั้งขนาดแค็ตตาล็อก ตัวเนื้อหาสำหรับการเปิดใช้งาน (Activation body) และบริบทสูงสุดเมื่อเอเจนต์อ่านข้อมูลอ้างอิงทั้งหมด ทำให้ผู้พัฒนาทราบต้นทุนของทักษะได้ก่อนที่จะเผยแพร่ นอกจากนี้ ฟีเจอร์ LLM-as-a-Judge จะทำการให้คะแนนใน 4 มิติ ได้แก่ คุณภาพของคำอธิบาย, ความชัดเจนของคำสั่ง, ขอบเขต และประสิทธิภาพของโทเค็น โดยรองรับโมเดลจาก OpenAI, Anthropic หรือโมเดลท้องถิ่นอย่าง Ollama ทำให้สามารถใช้งานได้โดยไม่ต้องมี API Key
การพัฒนาเครื่องมือประเภท Linter สำหรับ AI Agent เช่น Skill Inspector สะท้อนให้เห็นว่าระบบนิเวศของการพัฒนาแอปพลิเคชัน AI กำลังเติบโตและต้องการมาตรฐานที่เข้มงวดมากขึ้น เช่นเดียวกับการเขียนโค้ดทั่วไปที่ต้องมีกระบวนการทดสอบและตรวจสอบคุณภาพก่อนนำไปใช้งานจริง การควบคุมต้นทุนโทเค็นและการตรวจสอบความปลอดภัยของไฟล์คอนฟิกจึงเป็นหัวใจสำคัญในการสร้างเอเจนต์ที่มีเสถียรภาพ
สำหรับการซ่อมแซมข้อผิดพลาด คำสั่ง fix จะแสดงการเปลี่ยนแปลงแบบ Unified diff และทำการแก้ไข Frontmatter รวมถึงการตั้งชื่อโดยอัตโนมัติ นอกจากนี้ยังสามารถสร้างชุดทดสอบจำลอง (Synthetic test scenarios) จำนวน 10 ถึง 16 กรณี เช่น กรณีปกติ (Happy path), กรณีท้าทาย (Adversarial), กรณีเครื่องมือขัดข้อง และขอบเขตขอบข่าย แล้วส่งออกไปยัง Pytest, JSON หรือ Markdown ได้ รวมถึงมี Trajectory profiler สำหรับวิเคราะห์ร่องรอยการทำงานของเอเจนต์เพื่อหาการอ่านไฟล์ซ้ำซ้อนหรือลูปการค้นหาที่ไม่มีประสิทธิภาพ
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
สำหรับผู้ที่สนใจใช้งาน สามารถติดตั้ง CLI ผ่านคำสั่ง curl -sSL https://raw.githubusercontent.com/neo7337/skill_inspector/main/install/install.sh | bash หรือหากต้องการใช้งานอินเทอร์เฟซแบบ UI สามารถโคลนรีโปสทรอรีแล้วรันคำสั่ง make install && make dev เพื่อเปิดใช้งานผ่าน http://localhost:5173 หรือใช้ Docker Compose ก็ได้เช่นกัน เครื่องมือนี้อยู่ภายใต้สัญญาอนุญาตแบบ MIT และปัจจุบันอยู่ในเวอร์ชัน v0.0.8
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น