<div class="key-takeaways"><ul><li>นักพัฒนาทดลองเพิ่มไฟล์ SKILL.md ลงในระบบ Tokyo public transit MCP server</li><li>ทำการประเมินเปรียบเทียบผลลัพธ์ผ่านชุดทดสอบความยาก 6 ระดับทั้งแบบมีและไม่มี Skill</li><li>พบว่าการเพิ่มคำแนะนำไม่ได้ช่วยให้ AI ทำงานดีขึ้นในทุกกรณีเสมอไป</li></ul></div><p>นักพัฒนาซอฟต์แวร์รายหนึ่งได้แชร์ประสบการณ์จากการพัฒนา Tokyo public transit MCP server โดยทดลองเพิ่มไฟล์ SKILL.md เข้าไปในระบบ เพื่อศึกษาว่าการให้คำแนะนำที่มีโครงสร้างชัดเจนจะช่วยปรับปรุงพฤติกรรมและผลลัพธ์ของ AI agent ได้อย่างไร โปรเจกต์นี้จัดทำขึ้นภายใต้กิจกรรม DEV's Summer Bug Smash: Clear the Lineup powered by Sentry โดยเปลี่ยนจากการเพิ่มฟีเจอร์ทั่วไปมาเป็นการทดลองดีบั๊กพฤติกรรมการทำงานร่วมกันระหว่างเครื่องมือ MCP และไฟล์ Skill</p><p>หลักการทำงานทั่วไปคือ Model Context Protocol (MCP) จะทำหน้าที่มอบความสามารถและเครื่องมือให้กับ AI agent ขณะที่ไฟล์ Skill จะทำหน้าที่ให้คำแนะนำเฉพาะเจาะจงว่าควรใช้เครื่องมือเหล่านั้นเมื่อใดและอย่างไร เป้าหมายหลักคือการสร้างคำตอบเกี่ยวกับระบบขนส่งสาธารณะแบบเรียลไทม์ที่แม่นยำ สม่ำเสมอ และมีประโยชน์ยิ่งขึ้น แต่ผลลัพธ์ที่ได้กลับสร้างความประหลาดใจเมื่อพฤติกรรมของ agent เปลี่ยนไปอย่างเงียบ ๆ จนถึงขั้นหันไปใช้การค้นหาบนเว็บแทนที่จะใช้เครื่องมือ MCP ในบางสถานการณ์</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/skill_md_mcp_mt4zj805_inline_1_b34c89d7cf.jpg" alt="software code development screen computer" loading="lazy" /><p class="color-gray-500 text-sm mt-10">ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง</p></div><p>เพื่อให้ได้ข้อสรุปที่ชัดเจน นักพัฒนาได้ทำการทดสอบคำขอเกี่ยวกับเส้นทางเดินรถแบบเดียวกันทั้งในกรณีที่มี Skill และไม่มี Skill โดยเปรียบเทียบการใช้งานเครื่องมือ การเลือกเส้นทาง การเปลี่ยนสายรถ ระยะเวลาเดินทาง ค่าโดยสาร และคุณภาพของผลลัพธ์โดยรวม ผ่านชุดประเมิน 6 ระดับที่มีความซับซ้อนเพิ่มขึ้นเรื่อย ๆ ผลการทดลองท้าทายสมมติฐานเริ่มต้นที่ว่าการเพิ่มเลเยอร์ Skill จะช่วยให้ผลลัพธ์ดีขึ้นหรือเหมาะสมที่สุดโดยอัตโนมัติ</p><div class="stat-row"><div class="stat-item"><span class="stat-number">6</span><span class="stat-label">ระดับการประเมินความซับซ้อน</span></div><div class="stat-item"><span class="stat-number">1-3</span><span class="stat-label">Eval ที่ไม่พบความแตกต่างมากนัก</span></div></div><p>สำหรับงานที่มีความซับซ้อนน้อยใน Eval 1 ถึง 3 พบว่ามีความแตกต่างกันเล็กน้อยระหว่างการใช้งานแบบมี Skill และไม่มี Skill เนื่องจากเครื่องมือ MCP มีความสามารถในการจัดการคำขอเหล่านี้ได้ดีอยู่แล้ว อย่างไรก็ตาม ใน Eval 4 ไฟล์ Skill กลับทำให้การเลือกเส้นทางเปลี่ยนไปแต่ผลลัพธ์กลับน้อยกว่าความเหมาะสม ในทางตรงกันข้าม Eval 5 แสดงให้เห็นว่าเมื่อผู้ใช้ระบุชัดเจนว่าต้องการลดการเปลี่ยนสายรถให้เหลือน้อยที่สุด ไฟล์ Skill ช่วยให้ agent เลือกเส้นทางสอดคล้องกับความต้องการนั้น ส่วน Eval 6 สำหรับการวางแผนเวลาเดินทางที่อิงเวลาเป็นสำคัญ ทั้งสองเวอร์ชันให้ผลลัพธ์เหมือนกันโดยใช้ความสามารถ MCP เดียวกัน</p><div class="ai-insight"><p>การทดลองนี้สะท้อนให้เห็นว่าในระบบ AI agent การเพิ่มความซับซ้อนหรือคำสั่งไม่ได้แปลว่าจะให้ผลลัพธ์ที่ดีขึ้นเสมอไป เลเยอร์คำแนะนำ (Guidance layer) เช่น ไฟล์ Skill เปรียบเสมือนคู่มือการทำงานที่ต้องออกแบบให้สอดคล้องกับบริบทและข้อจำกัดของเครื่องมือพื้นฐาน หากใส่คำสั่งมากเกินไปโดยไม่จำเป็น อาจส่งผลให้เส้นทางการตัดสินใจของ AI เบี่ยงเบนไปจากเดิม การทำความเข้าใจว่าควรเพิ่มหรือลดเลเยอร์ในจุดใดจึงเป็นทักษะสำคัญในการพัฒนาเอเจนต์ที่มีประสิทธิภาพ</p></div><p>จากผลการทดลองแสดงให้เห็นว่าเครื่องมือ MCP มีความสามารถในการจัดการเส้นทางระหว่างสถานี การเดินทางไปยังสถานที่ท่องเที่ยว และการวางแผนเวลาเดินทางได้เป็นอย่างดีโดยไม่ต้องมีเลเยอร์คำแนะนำเพิ่มเติม ขั้นตอนต่อไปคือนักพัฒนาวางแผนที่จะขยายชุดประเมินให้มีความซับซ้อนมากขึ้น โดยผสมผสานข้อจำกัดด้านเวลา ความต้องการเปลี่ยนสายรถ และข้อจำกัดด้านค่าโดยสาร เพื่อค้นหาว่า Skill สามารถช่วยปรับปรุงการเลือกเส้นทางได้อย่างแท้จริงตรงไหน พร้อมทั้งเตรียมนำ Google ADK มาใช้สำหรับการประเมินและติดตามการทำงานเชิงลึกต่อไป</p><p class="source-attribution">ที่มา: <img src="https://www.google.com/s2/favicons?domain=dev.to&sz=64" alt="Dev.to" class="source-logo" width="16" height="16" /> <a href="https://dev.to/neithergalax/smashing-the-mcp-skill-tradeoff-more-guidance-better-agents-2g21" target="_blank" rel="noopener noreferrer">Dev.to</a></p>

<div class="key-takeaways"><ul><li>A developer tested adding a SKILL.md file to a Tokyo public transit MCP server.</li><li>Evaluated outputs across six progressively complex test scenarios with and without the Skill.</li><li>Results showed that adding guidance does not automatically improve agent behavior in all cases.</li></ul></div><p>A software developer has shared insights from working on a Tokyo public transit MCP server, experimenting with adding a SKILL.md file to see if structured guidance improves agent behavior and outputs. This project was submitted as part of DEV's Summer Bug Smash: Clear the Lineup powered by Sentry, shifting the focus from a standard feature addition to debugging how MCP tools and Skills interact together.</p><p>At a high level, the Model Context Protocol (MCP) provides the agent with capabilities and tools, while a Skill supplies task-specific guidance on when and how to use them. The goal was to produce accurate, consistent, and useful real-time transit answers. However, introducing the Skill layer caused unexpected behavior shifts, occasionally prompting the agent to prefer web search over the built-in MCP tools.</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/skill_md_mcp_mt4zj805_inline_1_b34c89d7cf.jpg" alt="software code development screen computer" loading="lazy" /><p class="color-gray-500 text-sm mt-10">Stock photo for illustration only, not from the actual event</p></div><p>To investigate, the developer tested identical transit requests with and without the Skill, comparing tool usage, route selection, transfers, travel time, fares, and overall output quality across six progressively complex evaluations. The findings challenged the initial assumption that adding a Skill layer would automatically yield better or more optimized outputs.</p><div class="stat-row"><div class="stat-item"><span class="stat-number">6</span><span class="stat-label">Progressive Evaluation Levels</span></div><div class="stat-item"><span class="stat-number">1-3</span><span class="stat-label">Evals with Minimal Difference</span></div></div><p>For simpler tasks in Eval 1 through 3, little difference was observed between versions since the MCP tools already handled requests effectively. Eval 4 presented a surprise where the Skill altered route selection, resulting in a less optimal outcome. Conversely, Eval 5 demonstrated that when users explicitly requested minimizing transfers, the Skill successfully aligned the agent's route selection with that preference. For Eval 6 regarding time-sensitive arrival planning, both versions produced identical results using the same MCP capability.</p><div class="ai-insight"><p>This experiment highlights a crucial lesson in agent systems: adding more instructions or intelligence does not always translate to superior results. Guidance layers like Skill files must be carefully aligned with underlying tools and specific tasks. Over-instructing can subtly alter decision paths, proving that knowing when not to add another layer is often the key to better system design.</p><p>The MCP tools proved fully capable of handling station routing, landmark navigation, and time-sensitive planning without extra guidance. Next steps include expanding the evaluation suite with complex requests combining time constraints, transfer preferences, and fare limitations, alongside integrating Google ADK-based tracing for deeper tool selection analysis.</p><p class="source-attribution">Source: <img src="https://www.google.com/s2/favicons?domain=dev.to&sz=64" alt="Dev.to" class="source-logo" width="16" height="16" /> <a href="https://dev.to/neithergalax/smashing-the-mcp-skill-tradeoff-more-guidance-better-agents-2g21" target="_blank" rel="noopener noreferrer">Dev.to</a></p>

medium_ทดลองเพิ่ม-skill-md-ใน-mcp-ขนส่งโตเกียว-ผลลัพธ์เป็นอย่างไร-mt4zj805.jpg

small_ทดลองเพิ่ม-skill-md-ใน-mcp-ขนส่งโตเกียว-ผลลัพธ์เป็นอย่างไร-mt4zj805.jpg

thumbnail_ทดลองเพิ่ม-skill-md-ใน-mcp-ขนส่งโตเกียว-ผลลัพธ์เป็นอย่างไร-mt4zj805.jpg

Inewgen

Inewgen

#Tokyo public transit

Testing SKILL.md in Tokyo Transit MCP Server: What Changed?

Inewgen