Prior Labs เปิดตัว TabPFN-3.5 โค่นแชมป์ Otto Kaggle
Prior Labs ปล่อย TabPFN-3.5 โมเดลพื้นฐานข้อมูลตารางตัวใหม่ ทำคะแนนเหนือแชมป์ Otto Kaggle ปี 2015 ด้วยค่าตั้ง 0.375 บนข้อมูลดิบและค่าตั้งต้น
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Prior Labs เปิดตัว TabPFN-3.5 โมเดลพื้นฐานสำหรับข้อมูลตาราง (Tabular Foundation Model)
- ทำคะแนนบนกระดานผู้นำส่วนตัวของ Otto Kaggle ได้ 0.375 เอาชนะทีมแชมป์ปี 2015 ด้วยค่าตั้งต้น
- ฝึกฝนล่วงหน้าด้วยข้อมูลสังเคราะห์ล้วน โดยไม่เคยเห็นชุดข้อมูล Kaggle มาก่อน
- เปิดให้ใช้งานโมเดลน้ำหนักเปิดสำหรับนักวิจัยผ่านการรันในเครื่อง และมี API สำหรับภาคธุรกิจ
วงการปัญญาประดิษฐ์ต้องฮือฮาอีกครั้งเมื่อ Prior Labs ได้ประกาศเปิดตัวโมเดลปัญญาประดิษฐ์ตัวใหม่ล่าสุดในชื่อ TabPFN-3.5 ซึ่งถูกออกแบบมาเพื่อจัดการกับข้อมูลตารางโดยเฉพาะ โมเดลนี้สร้างความประทับใจให้กับเหล่านักวิทยาศาสตร์ข้อมูลด้วยความสามารถในการแข่งขันกับชุดข้อมูลระดับตำนานได้อย่างน่าทึ่ง โดยสามารถนำไปใช้งานได้ผ่านทางไลเซนส์สำหรับการวิจัยและการประเมินผลในเครื่อง รวมถึงการใช้งานบน Kaggle ขณะที่การใช้งานเชิงพาณิชย์จะต้องผ่าน API หรือไลเซนส์เชิงพาณิชย์ของ Prior Labs เท่านั้น
ย้อนกลับไปในการแข่งขัน Otto Group Product Classification Challenge บนแพลตฟอร์ม Kaggle เมื่อปี 2015 มีทีมเข้าร่วมชิงชัยมากถึง 3,505 ทีมเพื่อชิงเงินรางวัล 10,000 ดอลลาร์ โดยโจทย์คือการจำแนกผลิตภัณฑ์ออกเป็น 9 หมวดหมู่จากฟีเจอร์นับจำนวนที่ถูกซ่อนไว้ 93 ฟีเจอร์ ซึ่งผลงานระดับแชมป์ในเวลานั้นตกเป็นของ Gilberto Titericz และ Stanislav Semenov สองปรมาจารย์ระดับโลกอันดับ 1 ของ Kaggle ผู้ใช้โมเดลซ้อนกันหลายชั้นถึง 36 โมเดลบนฟีเจอร์ที่สร้างขึ้นด้วยมือ
ภาพโดย CHUTTERSNAP / Unsplash
Nick Erickson นักวิจัย AI จาก Prior Labs และผู้ร่วมสร้าง AutoGluon ได้ใช้เวลาหลายปีในการไล่ล่าคะแนนดังกล่าว โดยข้อมูลระบุว่า AutoGluon เคยอยู่ในอันดับที่ 23 ในปี 2020 ก่อนจะขยับขึ้นสู่อันดับ 14 ในปี 2023 และขึ้นมาอยู่อันดับ 9 ในเดือนสิงหาคม 2026 อย่างไรก็ตาม ช่วงโค้งสุดท้ายถือเป็นส่วนที่ยากที่สุด โดยการขยับจากอันดับ 50 ไปสู่อันดับ 10 สามารถลดค่า log loss ลงจาก 0.41 เหลือ 0.40 แต่การจะไปให้ถึงคะแนนแชมป์ที่ 0.382 จากอันดับ 10 นั้นต้องใช้ความพยายามเพิ่มขึ้นเกือบสองเท่าตัว
ความสำเร็จครั้งใหม่นี้เกิดขึ้นเมื่อ TabPFN-3.5 สามารถทำคะแนนบนกระดานผู้นำส่วนตัวได้สูงถึง 0.375 โดย Nick Erickson เปิดเผยว่าโมเดลรันบนข้อมูลดิบด้วยค่าตั้งต้นและใช้เวลาประมวลผลเพียงประมาณหนึ่งนาทีบนการ์ดจอ RTX PRO 6000 สิ่งที่น่าทึ่งคือโมเดลนี้ได้รับการฝึกฝนล่วงหน้าด้วยข้อมูลสังเคราะห์เท่านั้นและไม่เคยเห็นชุดข้อมูล Otto หรือชุดข้อมูลอื่นใดของ Kaggle มาก่อน พร้อมกันนี้ยังมีสมุดบันทึก Kaggle ที่สามารถทำซ้ำได้เปิดให้ใช้งานต่อสาธารณะ
การที่ TabPFN-3.5 สามารถเอาชนะโซลูชันที่ชนะการแข่งขัน Otto Kaggle ได้ด้วยค่าตั้งต้น (default settings) โดยไม่ต้องปรับแต่งพารามิเตอร์ซับซ้อน ถือเป็นก้าวกระโดดครั้งสำคัญของ Tabular Foundation Models ซึ่งปกติแล้วข้อมูลตาราง (Tabular data) มักเป็นจุดอ่อนของโมเดล Deep Learning ทั่วไปที่มักพ่ายแพ้ให้กับอัลกอริทึมประเภท Gradient Boosting เช่น XGBoost หรือ LightGBM การที่โมเดลตระกูล PFN (Prior-Data Fitted Networks) สามารถเรียนรู้กระบวนการเรียนรู้ (Learning to Learn) จากข้อมูลสังเคราะห์แล้วนำมาใช้พยากตณ์ข้อมูลจริงได้ทันที จึงช่วยลดเวลาและต้นทุนในการทำ Feature Engineering ลงได้อย่างมหาศาล
รายงานทางเทคนิคยังระบุด้วยว่าโมเดลนี้คว้าอันดับหนึ่งบนเบนช์มาร์กหลากหลายรายการ เช่น TabArena, BeyondArena, STRABLE, MulTaBench, RelArena-α, TALENT และ ScoringBench โดยในส่วนของ TabArena ซึ่งเป็นเบนช์มาร์กที่มีชุดข้อมูลถึง 51 ชุด เวอร์ชัน TabPFN-3.5-Thinking สามารถทำคะแนน Elo สูงถึง 1910 ขณะที่โมเดลพื้นฐานทำได้ 1866 คะแนน ซึ่งสูงกว่า TabFM+ ที่ทำได้ 1823 คะแนน นอกจากนี้ Prior Labs ยังระบุว่าโมเดลพื้นฐานสามารถเอาชนะ AutoGluon 1.6 แบบสุดโต่งได้ถึง 130 Elo ในเวลาเพียงหนึ่งในห้าเท่านั้น
ในด้านประสิทธิภาพการประมวลผล แม้ว่าจำนวนพารามิเตอร์จะเพิ่มขึ้นประมาณ 4 เท่า แต่แคช KV ยังคงมีขนาดใกล้เคียงกับ TabPFN-3 การทำนายแถวเดี่ยวโดยใช้แคชยังคงมีความเร็วเท่ากับรุ่นก่อนหน้า ยกเว้นในชุดข้อมูลฝึกอบรมขนาดใหญ่ที่โมเดลพื้นฐานอาจทำงานช้ากว่า TabPFN-3 สูงสุดถึง 2 เท่า สำหรับผู้ที่สนใจสามารถศึกษา보고รายงานทางเทคนิคและรายละเอียดเพิ่มเติมได้จากแหล่งข่าวต้นฉบับ
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น