ทดลองเพิ่ม Skill.md ใน MCP ขนส่งโตเกียว ผลลัพธ์เป็นอย่างไร
นักพัฒนาทดลองเพิ่มไฟล์ SKILL.md ควบคู่กับ Tokyo public transit MCP server เพื่อดูผลกระทบต่อพฤติกรรมและการเลือกเส้นทางผ่านการทดสอบ 6 ระดับ
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- นักพัฒนาทดลองเพิ่มไฟล์ SKILL.md ลงในระบบ Tokyo public transit MCP server
- ทำการประเมินเปรียบเทียบผลลัพธ์ผ่านชุดทดสอบความยาก 6 ระดับทั้งแบบมีและไม่มี Skill
- พบว่าการเพิ่มคำแนะนำไม่ได้ช่วยให้ AI ทำงานดีขึ้นในทุกกรณีเสมอไป
นักพัฒนาซอฟต์แวร์รายหนึ่งได้แชร์ประสบการณ์จากการพัฒนา Tokyo public transit MCP server โดยทดลองเพิ่มไฟล์ SKILL.md เข้าไปในระบบ เพื่อศึกษาว่าการให้คำแนะนำที่มีโครงสร้างชัดเจนจะช่วยปรับปรุงพฤติกรรมและผลลัพธ์ของ AI agent ได้อย่างไร โปรเจกต์นี้จัดทำขึ้นภายใต้กิจกรรม DEV's Summer Bug Smash: Clear the Lineup powered by Sentry โดยเปลี่ยนจากการเพิ่มฟีเจอร์ทั่วไปมาเป็นการทดลองดีบั๊กพฤติกรรมการทำงานร่วมกันระหว่างเครื่องมือ MCP และไฟล์ Skill
หลักการทำงานทั่วไปคือ Model Context Protocol (MCP) จะทำหน้าที่มอบความสามารถและเครื่องมือให้กับ AI agent ขณะที่ไฟล์ Skill จะทำหน้าที่ให้คำแนะนำเฉพาะเจาะจงว่าควรใช้เครื่องมือเหล่านั้นเมื่อใดและอย่างไร เป้าหมายหลักคือการสร้างคำตอบเกี่ยวกับระบบขนส่งสาธารณะแบบเรียลไทม์ที่แม่นยำ สม่ำเสมอ และมีประโยชน์ยิ่งขึ้น แต่ผลลัพธ์ที่ได้กลับสร้างความประหลาดใจเมื่อพฤติกรรมของ agent เปลี่ยนไปอย่างเงียบ ๆ จนถึงขั้นหันไปใช้การค้นหาบนเว็บแทนที่จะใช้เครื่องมือ MCP ในบางสถานการณ์
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
เพื่อให้ได้ข้อสรุปที่ชัดเจน นักพัฒนาได้ทำการทดสอบคำขอเกี่ยวกับเส้นทางเดินรถแบบเดียวกันทั้งในกรณีที่มี Skill และไม่มี Skill โดยเปรียบเทียบการใช้งานเครื่องมือ การเลือกเส้นทาง การเปลี่ยนสายรถ ระยะเวลาเดินทาง ค่าโดยสาร และคุณภาพของผลลัพธ์โดยรวม ผ่านชุดประเมิน 6 ระดับที่มีความซับซ้อนเพิ่มขึ้นเรื่อย ๆ ผลการทดลองท้าทายสมมติฐานเริ่มต้นที่ว่าการเพิ่มเลเยอร์ Skill จะช่วยให้ผลลัพธ์ดีขึ้นหรือเหมาะสมที่สุดโดยอัตโนมัติ
สำหรับงานที่มีความซับซ้อนน้อยใน Eval 1 ถึง 3 พบว่ามีความแตกต่างกันเล็กน้อยระหว่างการใช้งานแบบมี Skill และไม่มี Skill เนื่องจากเครื่องมือ MCP มีความสามารถในการจัดการคำขอเหล่านี้ได้ดีอยู่แล้ว อย่างไรก็ตาม ใน Eval 4 ไฟล์ Skill กลับทำให้การเลือกเส้นทางเปลี่ยนไปแต่ผลลัพธ์กลับน้อยกว่าความเหมาะสม ในทางตรงกันข้าม Eval 5 แสดงให้เห็นว่าเมื่อผู้ใช้ระบุชัดเจนว่าต้องการลดการเปลี่ยนสายรถให้เหลือน้อยที่สุด ไฟล์ Skill ช่วยให้ agent เลือกเส้นทางสอดคล้องกับความต้องการนั้น ส่วน Eval 6 สำหรับการวางแผนเวลาเดินทางที่อิงเวลาเป็นสำคัญ ทั้งสองเวอร์ชันให้ผลลัพธ์เหมือนกันโดยใช้ความสามารถ MCP เดียวกัน
การทดลองนี้สะท้อนให้เห็นว่าในระบบ AI agent การเพิ่มความซับซ้อนหรือคำสั่งไม่ได้แปลว่าจะให้ผลลัพธ์ที่ดีขึ้นเสมอไป เลเยอร์คำแนะนำ (Guidance layer) เช่น ไฟล์ Skill เปรียบเสมือนคู่มือการทำงานที่ต้องออกแบบให้สอดคล้องกับบริบทและข้อจำกัดของเครื่องมือพื้นฐาน หากใส่คำสั่งมากเกินไปโดยไม่จำเป็น อาจส่งผลให้เส้นทางการตัดสินใจของ AI เบี่ยงเบนไปจากเดิม การทำความเข้าใจว่าควรเพิ่มหรือลดเลเยอร์ในจุดใดจึงเป็นทักษะสำคัญในการพัฒนาเอเจนต์ที่มีประสิทธิภาพ
จากผลการทดลองแสดงให้เห็นว่าเครื่องมือ MCP มีความสามารถในการจัดการเส้นทางระหว่างสถานี การเดินทางไปยังสถานที่ท่องเที่ยว และการวางแผนเวลาเดินทางได้เป็นอย่างดีโดยไม่ต้องมีเลเยอร์คำแนะนำเพิ่มเติม ขั้นตอนต่อไปคือนักพัฒนาวางแผนที่จะขยายชุดประเมินให้มีความซับซ้อนมากขึ้น โดยผสมผสานข้อจำกัดด้านเวลา ความต้องการเปลี่ยนสายรถ และข้อจำกัดด้านค่าโดยสาร เพื่อค้นหาว่า Skill สามารถช่วยปรับปรุงการเลือกเส้นทางได้อย่างแท้จริงตรงไหน พร้อมทั้งเตรียมนำ Google ADK มาใช้สำหรับการประเมินและติดตามการทำงานเชิงลึกต่อไป
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น