Meta FAIR เปิดตัว AI Research Preference Models (RPMs)
Meta FAIR และนักวิจัยจาก Oxford และ UCL เปิดตัว AI Research Preference Models (RPMs) ช่วยจัดอันดับการทดลอง ML ก่อนรันจริง ประหยัดเวลา GPU
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Meta FAIR, Oxford และ UCL เปิดตัว AI Research Preference Models (RPMs)
- RPM จัดอันดับแคนดิเดตที่ยังไม่รันด้วยการแข่งขันแบบน็อตเอาต์ แทนการพยากรณ์คะแนน
- เพิ่มความเร็วในการบรรลุผลลัพธ์ baseline 0.684 ได้ในเวลา 14.88 ถึง 15.50 ชั่วโมง
- สร้างสถิติ SOTA ใหม่บน WinoGrande ที่ 94.1% และ SVAMP ที่ 95.7%
ทีมนักวิจัยจาก FAIR ของ Meta ร่วมกับมหาวิทยาลัยออกซ์ฟอร์ด (University of Oxford) และยูนิเวอร์ซิตี้คอลลอจลอนดอน (University College London) ได้ร่วมกันพัฒนาระบบที่เรียกว่า Research Preference พร้อมทั้งเปิดตัวโมเดลใหม่ที่มีชื่อว่า AI Research Preference Models หรือ RPMs โดยระบบนี้ทำหน้าที่จัดอันดับแคนดิเดตที่ยังไม่เคยรันการทดลอง เพื่อเลือกตัวที่ดีที่สุดเพียงหนึ่งเดียวไปดำเนินการต่อ
จากการศึกษาพบว่าโมเดลภาษา (Language Models) มักมีความไม่แน่นอนสูงในการทำนายตัวชี้วัดหรือผลลัพธ์ของการรันระบบ ดังนั้น RPM จึงไม่ทำนายคะแนนแบบสัมบูรณ์ แต่เลือกใช้วิธีจัดลำดับความสำคัญแทน โดยโครงการนี้ได้เปิดซอร์สโค้ดโครงสร้าง AIRA-dojo และเบนช์มาร์ก AIRS-Bench พร้อมทั้งใช้แบ็กโบนเป็น Qwen3.6-27B แบบเปิดน้ำหนักโมเดล (Open Weights) และใช้โมเดล RPM ที่เป็นแบบ Inference-only ซึ่งไม่ต้องผ่านกระบวนการ Fine-tuning ใดๆ
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในส่วนของโครงสร้าง AIRA-dojo นั้นทำงานด้วยระบบต้นไม้การค้นหาแบบวิวัฒนาการ (Evolutionary tree search) ซึ่งประกอบด้วยการเลือกพาเรนต์แบบโลภ (Greedy parent selection) พร้อมตัวดำเนินการ Draft, Improve และ Debug โดยจะส่งคืนโหนดที่มีคะแนน Validation สูงสุดเมื่อสิ้นสุดกระบวนการ ทางด้าน RPM จะเข้าไปแทรกแซงเฉพาะในขั้นตอนการสร้างโหนดลูกเท่านั้น แทนที่จะสร้างลูกขึ้นมาแล้วรันทันที ระบบจะใช้ตัวดำเนินการสร้างแคนดิเดตที่ยังไม่รันถึง 15 ตัวพร้อมกันในแบบคู่ขนาน จากนั้นนำมาเปรียบเทียบกันแบบจับคู่ในทัวร์นาเมนต์แบบน็อตเอาต์ เพื่อเลือกผู้ชนะเพียงตัวเดียวไปรันบน GPU ต่อไป
สำหรับการตั้งค่าการทดลอง ทีมวิจัยได้ทดสอบกับงานข้อความและตารางสาธารณะจำนวน 20 งาน โดยใช้เวลา 24 ชั่วโมงต่อหนึ่งงานบน GPU H200 เดี่ยว พร้อมใช้ 10 ซีด และใช้ Qwen3.6-27B เป็นแบ็กโบนทั้งสำหรับตัวดำเนินการและ RPM ผลลัพธ์แสดงให้เห็นว่าความน่าจะเป็นในการพัฒนาที่ดีขึ้นเมื่อเทียบกับการไม่ใช้ RPM อยู่ที่ 0.5923 และ 0.5913 โดยมีขอบเขตล่างของช่วงความเชื่อมั่น 95% อยู่ที่ 0.5066 และ 0.5018 ตามลำดับ
การพัฒนา AI Research Preference Models (RPMs) ถือเป็นก้าวสำคัญในการแก้ปัญหาคอขวดด้านทรัพยากรการประมวลผล (Compute) ในงานวิจัยปัญญาประดิษฐ์ โดยปกติแล้วนักวิจัยต้องสูญเสียชั่วโมงการทำงานของ GPU ไปมหาศาลกับการทดลองโมเดล Machine Learning ที่สุดท้ายอาจไม่ได้ผลลัพธ์ตามต้องการ การใช้โมเดลกรองและจัดลำดับแคนดิเดตล่วงหน้าด้วยกระบวนการตรรกะและการเปรียบเทียบแบบทัวร์นาเมนต์ ช่วยให้ทีมนักวิจัยสามารถโฟกัสทรัพยากรไปยังแนวทางที่มีโอกาสสำเร็จสูงที่สุดได้โดยไม่ต้องเดาผลลัพธ์ล่วงหน้าแบบตรงๆ ซึ่งสะท้อนถึงประสิทธิภาพการบริหารจัดการทรัพยากรในยุคที่โมเดล AI มีขนาดใหญ่ขึ้นเรื่อยๆ
ในด้านประสิทธิภาพเชิงปฏิบัติถือเป็นจุดเด่นที่สุด โดยระบบ Inference-only สามารถบรรลุผลลัพธ์สุดท้ายระดับ baseline ที่ 0.684 ได้ภายในเวลา 14.88 ชั่วโมง (คิดเป็น 1.61 เท่า) ขณะที่แบบ Agentic ใช้เวลา 15.50 ชั่วโมง (คิดเป็น 1.55 เท่า) นอกจากนี้ การทดลองดังกล่าวยังสร้างผลลัพธ์ระดับ State-of-the-art (SOTA) ใหม่ถึงสองรายการ ได้แก่ บนชุดทดสอบ WinoGrande ทำคะแนนได้ 94.1% ด้วย Agentic RPM (เทียบกับ SOTA เดิมที่ 90.4% จาก AIRA2) และบนชุดทดสอบ SVAMP ทำคะแนนได้ 95.7% ด้วย Inference-only (เทียบกับ SOTA เดิมที่ 94.2%) รายละเอียดเพิ่มเติมสามารถศึกษาได้จากเอกสารงานวิจัยและการประกาศอย่างเป็นทางการของทีมงาน
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น