ByteDance Seed เปิดตัว HarnessDev: LLM ออกแบบระบบ Agent
งานวิจัยล่าสุดจาก ByteDance Seed ทดสอบโมเดลภาษา 6 รุ่นสร้างระบบ Agent ของตัวเอง พบมีเพียง 34 จาก 64 การเปลี่ยนแปลงที่สามารถทั่วไปได้จริง
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- ทดสอบโมเดลภาษา 6 รุ่นสร้างระบบ Agent ของตนเอง
- พบการเปลี่ยนแปลงเพียง 34 จาก 64 ครั้งที่ใช้งานได้ทั่วไปจริง
- โค้ดและฟังก์ชันจำนวนมากกลายเป็นโค้ดตายไม่ได้ใช้งาน
ByteDance Seed ได้เผยแพร่งานวิจัยชิ้นใหม่เกี่ยวกับ HarnessDev ซึ่งเป็นการทดสอบความสามารถของโมเดลภาษาขนาดใหญ่ (LLMs) ในการออกแบบระบบ Agent ของตนเอง โดยเริ่มต้นจากเมล็ดพันธุ์เริ่มต้นที่อ่อนแอและไม่มีลูป วางแผน หรือตัวตรวจสอบใดๆ ก่อนที่โมเดลแต่ละตัวจะพัฒนาเป็นฮาร์ดแวร์เต็มรูปแบบ
การทดสอบครั้งนี้ได้ใช้งานโมเดลภาษาชั้นนำทั้งหมด 6 รุ่น ได้แก่ Opus 4.8, GPT-5.5, Gemini 3.1 Pro, DeepSeek V4 Pro, Qwen 3.7 Max และ Seed 2.0 Pro โดยทำงานภายใน Claude Code 2.1.177 ครอบคลุม 4 โดเมน และ 5 เบนช์มาร์ก รวมทั้งหมด 2,207 อินสแตนซ์ เช่น SWE-bench Pro, Terminal-Bench 2.1, MLE-bench, EQ-Bench3 และ BrowseComp
ผลการประเมินพบว่าความสามารถของระบบฮาร์ดแวร์ที่สร้างขึ้นยังมีความท้าทายในเรื่องความเสถียร โดยมีเพียง 34 จาก 64 การเปลี่ยนแปลงเท่านั้นที่ให้ผลลัพธ์ทั่วไปได้จริงบนชุดทดสอบที่แยกออกมา นอกจากนี้ โค้ดที่ถูกสร้างขึ้นจำนวนมากยังเป็นโค้ดที่ไม่ได้ถูกเรียกใช้งานจริง เช่น ฟังก์ชันสถานะและหน่วยความจำบางส่วนที่ไม่เคยทำงานเลยตลอดหลายหมื่นเทรเจกทอรี
การที่โมเดลภาษาพยายามเขียนโค้ดและระบบควบคุมตัวเอง (Self-Engineering Agent Harness) ถือเป็นก้าวสำคัญสู่อัตโนมัติ แต่ผลการทดลองนี้สะท้อนว่าโมเดลยังมักสร้างฟังก์ชันเกินความจำเป็นหรือฮาร์ดโค้ดเงื่อนไขเฉพาะหน้า ซึ่งทำให้ประสิทธิภาพลดลงเมื่อเปลี่ยนสภาพแวดล้อมการทำงาน
ในด้านผลลัพธ์ภายใต้การประเมินตนเอง Opus 4.8 ทำคะแนนเฉลี่ยสูงสุดอยู่ที่ 67.8 เทียบกับมาตรฐานที่มนุษย์ออกแบบไว้ที่ 86.2 ขณะที่การสลับตัวรันงาน (Executor) ไปใช้ Gemini ส่งผลให้คะแนนของบางโมเดลเปลี่ยนแปลงไปอย่างมาก เช่น คะแนนของ Opus บน SWE-Pro ลดลงเหลือ 33.0 เนื่องจากฮาร์ดแวร์ถูกฮาร์ดโค้ดขีดจำกัดจำนวนก้าวไว้กับระบบเดิม
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น