SwarmEvolve: เอเจนต์ AI สื่อสารผ่าน Latent Space ลดเวลาค้นหาเหลือ 8 นาที
งานวิจัยใหม่จาก Brown University เสนอเฟรมเวิร์ก SwarmEvolve ให้เอเจนต์ AI 450 ตัวส่งต่อ KV Cache แทนข้อความภาษาธรรมชาติ ลดเวลาประมวลผลจาก 60 นาทีเหลือเพียง 3-8 นาที
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- SwarmEvolve จาก Brown University ใช้การส่งผ่าน KV Cache ข้ามเอเจนต์แทนการสื่อสารด้วยข้อความธรรมชาติ
- ระบบประกอบด้วยเอเจนต์ 450 ตัว แบ่งเป็น 10 สวาร์ม ช่วยกันค้นหาและพัฒนาโปรแกรมทางวิทยาศาสตร์
- ทำความเร็วเทียบเท่าระบบเดิมที่ใช้เวลา 60 นาที ได้ภายในเวลาเพียง 3 ถึง 8 นาทีเท่านั้น
- ข้อจำกัดสำคัญคือต้องใช้โมเดลรุ่นเดียวกันทั้งหมด และต้องมีโครงสร้างพื้นฐานด้านหน่วยความจำที่รองรับเป็นพิเศษ
ระบบเอเจนต์ AI หลายตัว (Multi-agent AI) ในปัจจุบันส่วนใหญ่สื่อสารกันด้วยวิธีเดียวกับมนุษย์ นั่นคือเอเจนต์ตัวแรกเขียนข้อความ ตัวถัดไปอ่าน คิด แล้วเขียนตอบกลับ แม้จะใช้งานได้ดีแต่ก็มีต้นทุนที่ซ่อนอยู่ ทุกครั้งที่เอเจนต์แปลงเหตุผลภายในออกมาเป็นข้อความ มันจะสูญเสียข้อมูลสำคัญ ทั้งการแจกแจงความน่าจะเป็น ความไม่แน่นอน และความละเอียดอ่อนที่อยู่ในสถานะซ่อน (Hidden states) ของโมเดล ทำให้เอเจนต์ตัวถัดไปต้องพยายามทำความเข้าใจข้อมูลเหล่านั้นใหม่จากตัวอักษร
บทความวิจัยชิ้นใหม่จาก Jiang และ Karniadakis แห่ง Brown University เรียกสิ่งนี้ว่า "ภาษีการถอดรหัส" (Decoding tax) และได้พัฒนาเฟรมเวิร์กที่ชื่อว่า SwarmEvolve ขึ้นมาเพื่อกำจัดปัญหานี้ให้หมดไป การค้นหาเชิงวิวัฒนาการที่นำโดย LLM ซึ่งให้ AI เสนอ ประเมิน และปรับปรุงโปรแกรมหรือโครงสร้างทางคณิตศาสตร์ กำลังกลายเป็นพื้นที่วิจัยที่เติบโตอย่างรวดเร็ว โดยเฟรมเวิร์กอย่าง OpenEvolve และ AlphaEvolve เคยแสดงให้เห็นแล้วว่าโมเดลภาษาสามารถค้นหาอัลกอริทึมวิทยาศาสตร์ใหม่ๆ ได้หากมีโครงสร้างสนับสนุนที่เหมาะสม
อย่างไรก็ตาม ปัญหาคอขวดสำคัญคือปริมาณงานที่ทำได้ (Throughput) ในระบบมาตรฐาน เอเจนต์จะสร้างห่วงโซ่ความคิด (Chain-of-thought) เป็นภาษาธรรมชาติ ซึ่งข้อความเหล่านั้นจะถูกแปลงเป็นโทเค็นและป้อนให้กับเอเจนต์ตัวถัดไป สำหรับงานที่ฟังก์ชันความเหมาะสม (Fitness function) สามารถตรวจสอบได้ด้วยเครื่องจักร เช่น โค้ดนี้ให้ผลลัพธ์ที่ถูกต้องหรือไม่ หรือการจัดเรียงนี้ทำลายสถิติเดิมหรือเปล่า ข้อความอธิบายเหล่านี้ถือเป็นภาระส่วนเกิน เพราะเอเจนต์กำลังเขียนหากันเอง ไม่ได้เขียนให้มนุษย์อ่าน
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
SwarmEvolve จึงตั้งคำถามว่าจะเป็นอย่างไรหากให้เอเจนต์ข้ามการใช้ข้อความไปเลย แนวคิดเรื่องการให้เหตุผลในพื้นที่แฝง (Latent-space reasoning) เคยถูกสำรวจมาบ้างแล้วในรูปแบบต่างๆ แต่สิ่งที่ SwarmEvolve เพิ่มเข้ามาคือสถาปัตยกรรมเอเจนต์หลายตัวที่มีโครงสร้างชัดเจนรอบแนวคิดนี้ ในแต่ละรอบของวิวัฒนาการ ระบบจะdeploy เอเจนต์จำนวน 450 ตัว จัดระเบียบออกเป็น 10 สวาร์มที่มีความเชี่ยวชาญแตกต่างกัน เช่น การปรับปรุงโปรแกรมเดิม การผสมผสานโปรแกรมพ่อแม่ หรือการสำรวจแนวทางใหม่ๆ
ภายในแต่ละสวาร์ม ตัวกรองความแปลกใหม่ (Novelty filter) จะคำนวณค่าเฉลี่ยสถานะซ่อนของเอเจนต์แต่ละตัว และใช้การเลือกจุดที่ไกลที่สุดแบบโลภ (Greedy farthest-point selection) ในระยะทาง cosine distance เพื่อเก็บรักษาเส้นทางการให้เหตุผลที่แตกต่างกันมากที่สุดไว้ พร้อมทั้งคัดทิ้งเอเจนต์ที่มีสถานะภายในคล้ายคลึงกันจนเกินไป เอเจนต์ที่ถูกคัดเลือกไว้จะส่งแคช KV (KV caches) ซึ่งเป็นเมทริกซ์ความสนใจคีย์-แวลูที่เข้ารหัสบริบทการให้เหตุผล ไปยังเอเจนต์สรุปผล (Summarizer agent) เพื่อสังเคราะห์ข้อเสนอโปรแกรมใหม่โดยที่ไม่มีเอเจนต์ตัวไหนต้องเขียนข้อความออกมาเลยแม้แต่คำเดียว
"SwarmEvolve reaches the 60-minute performance scores of text-based baselines in a median of 3 to 8 minutes."
Jiang และ Karniadakis (Brown University)
คณะผู้จัดทำได้ประเมินผล SwarmEvolve กับปัญหา 21 ข้อ ครอบคลุมการค้นพบทางคณิตศาสตร์และการคำนวณทางวิทยาศาสตร์ ผลลัพธ์หลักคือ SwarmEvolve สามารถทำคะแนนประสิทธิภาพเทียบเท่ากับระบบพื้นฐานที่ใช้ข้อความ (OpenEvolve, ShinkaEvolve, CodeEvolve) ในเวลา 60 นาที ให้สำเร็จได้ภายในมัธยฐานเพียง 3 ถึง 8 นาทีเท่านั้น และประเมินโปรแกรมผู้สมัครได้มากกว่าเฟรมเวิร์กเหล่านั้นถึง 5 ถึง 13 เท่าต่อชั่วโมง
การที่ SwarmEvolve สามารถข้ามการแปลงข้อมูลเป็นข้อความภาษาธรรมชาติ (Prose bus) ช่วยอธิบายให้เราเห็นว่าคอขวดของการประมวลผล AI หลายตัวในปัจจุบันมักเกิดจากรูปแบบการสื่อสารที่ออกแบบมาเพื่ออำนวยความสะดวกให้มนุษย์ตรวจสอบ มากกว่าจะเป็นความจำเป็นของตัวโมเดลเอง อย่างไรก็ตาม การนำไปปรับใช้จริงยังต้องแลกมากับข้อจำกัดด้านฮาร์ดแวร์และการดีบักที่ซับซ้อนขึ้นอย่างมาก
ข้อจำกัดที่ผู้ปฏิบัติงานควรทราบคือ ระบบนี้บังคับให้ต้องใช้โมเดลประเภทเดียวกันทั้งหมด (Model homogeneity) เนื่องจากเอเจนต์ต้องแชร์ KV cache ร่วมกัน จึงไม่สามารถผสมผสานโมเดลขนาดเล็กในท้องถิ่นเข้ากับโมเดลขนาดใหญ่ผ่าน API ระหว่างรอบได้ นอกจากนี้ โครงสร้างพื้นฐานยังมีความซับซ้อนสูง เพราะสแติร์ฟการเสิร์ฟ LLM ทั่วไปไม่ได้ถูกปรับแต่งมาสำหรับการแชร์ KV cache ข้ามเอเจนต์ในลักษณะนี้ และการดีบักจะยากขึ้นเพราะไม่มีบันทึกบทสนทนาให้อ่าน มีเพียงตัวเลขและเวกเตอร์สถานะซ่อนเท่านั้น
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น