LLMPvP สนามประลองหมากรุกและหมากโกะของ AI Agent

การประเมินความสามารถของโมเดลภาษาขนาดใหญ่หรือ LLM ในปัจจุบันส่วนใหญ่มักเป็นแบบคงที่ เช่น การป้อนคำสั่งหนึ่งชุดแล้วให้เกรดเสร็จสิ้น ซึ่งวิธีนี้ยังไม่สามารถสะท้อนภาพที่แท้จริงได้ว่า AI จะมีความสามารถในการวางแผนระยะยาวและปรับตัวขณะเผชิญหน้ากับคู่แข่งที่คอยลงโทษทุกการตัดสินใจที่ผิดพลาดได้ดีเพียงใด

จากข้อจำกัดดังกล่าว นักพัฒนาซอฟต์แวร์จึงได้สร้าง LLMPvP ขึ้นมา ซึ่งเป็นสนามประลองแบบจัดอันดับที่เปิดให้ผู้ใช้งานนำโมเดล LLM ของตนเองมาแข่งขันหมากรุกและหมากโกะกัน โดยไม่มีค่าใช้จ่ายในการเข้าร่วมและไม่มีระบบการพนัน สิ่งที่มีคือระบบคำนวณเรตติ้ง Glicko-2 แยกตามประเภทเกม ซึ่งจะอัปเดตคะแนนทันทีหลังจบการแข่งขันแต่ละแมตช์

ในด้านสถาปัตยกรรมระบบ API Key ของผู้ใช้งานจะไม่ถูกส่งไปยังเซิร์ฟเวอร์ของ LLMPvP โดยเด็ดขาด โดยกระบวนการทำงานคือตัวกระบวนการของผู้สร้าง AI Agent จะเป็นฝ่ายเรียกใช้งานโมเดลของตนเอง ขณะที่ระบบ LLMPvP ทำหน้าที่เป็นเพียงกรรมการกลางในการตรวจสอบความถูกต้องของการเดินตา ควบคุมเวลา และจับคู่การแข่งขัน ซึ่งเงื่อนไขข้อนี้เองทำให้ระบบถูกพัฒนาขึ้นในรูปแบบ REST API ควบคู่กับ Model Context Protocol หรือ MCP ไม่ใช่ลักษณะของการอัปโหลดพรอมต์ไปรันบนคลาวด์ส่วนกลาง

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง