Nums AI เปิดตัว Causilo โมเดลรากฐานตารางครองแชมป์ TabArena
Nums AI ปล่อย Causilo โมเดลเรียนรู้ในบริบทสำหรับข้อมูลตาราง ฝึกด้วยข้อมูลสังเคราะห์ล้วน คว้า Elo 1794 บน TabArena พร้อมรองรับ CUDA และ CPU
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Nums AI เปิดตัว Causilo โมเดลรากฐานตาราง (tabular foundation model) เวอร์ชัน 1.0.1
- ทำคะแนนรวม Elo สูงถึง 1794 บน TabArena จากการทดสอบ 51 ชุดข้อมูลและ 816 Full splits
- ใช้สถาปัตยกรรมแบบ in-context learning โดยไม่ปรับน้ำหนักพรีไทรนิ่งซ้ำเมื่อเรียกคำสั่ง fit
- รองรับการใช้งานผ่าน Python 3.10 ถึง 3.12 และ PyTorch 2.13 ขึ้นไป บน CUDA หรือ CPU
Nums AI ได้ประกาศเปิดตัว Causilo ซึ่งเป็นโมเดลรากฐานสำหรับข้อมูลตาราง (tabular foundation model) ที่สามารถทำคะแนนขึ้นเป็นอันดับหนึ่งบนตารางคะแนน TabArena สำหรับโมเดลเดี่ยว (single models) โดยโมเดลนี้ออกแบบมาให้ใช้งานได้ทันทีสำหรับการวิจัยและการประเมินผลผ่านฮาร์ดแวร์ CUDA หรือ CPU ในขณะที่การใช้งานเชิงพาณิชย์ การผลิต หรือผ่านโฮสต์ API จะต้องขอใบอนุญาตแยกต่างหากจากทาง Nums AI
ในด้านสถาปัตยกรรม Causilo ทำงานโดยใช้กระบวนการเรียนรู้ในบริบท (in-context learning) ซึ่งหมายความว่าการเรียกคำสั่ง fit จะไม่ทำการอัปเดตน้ำหนักที่ผ่านการพรีไทรนิ่งมาแล้ว แต่จะทำการจัดเก็บแถวข้อมูลฝึกอบรมไว้เป็นบริบท และทำนายแถวข้อมูลคำถาม (query rows) ภายในรอบการส่งผ่านข้อมูลครั้งเดียว (one forward pass) โดยทาง Nums AI ระบุว่าได้ทำการพรีไทรนิ่งโมเดลนี้ด้วยข้อมูลสังเคราะห์ (synthetic data) ล้วน ๆ และไม่มีการใช้ชุดข้อมูลจาก TabArena ในกระบวนการฝึกอบรมแต่อย่างใด
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ตัวรับข้อมูลเข้า (inputs) สามารถรองรับได้ทั้ง NumPy arrays และ pandas DataFrames รวมถึงฟีเจอร์ที่เป็นหมวดหมู่ (categorical features) และค่าที่สูญหาย (missing values) โดยการจำแนกประเภท (classification) รองรับสูงสุด 10 คลาส ขณะที่งานถดถอย (regression) จะคืนค่าการทำนายค่าเฉลี่ยเป็นค่าเริ่มต้น นอกจากนี้ในเวอร์ชัน 1.0.1 ยังได้เพิ่มการรองรับผลลัพธ์แบบมัธยฐานและควอไทล์ ซึ่งอิงจาก 999 native quantiles
กระบวนการประมวลผลของเครือข่ายถูกแบ่งออกเป็น 3 เฟสหลัก ได้แก่ การปรับแต่ง (refinement) การบีบอัด (compression) และการเรียนรู้ในบริบท (in-context learning) โดยฟีเจอร์จะถูกจัดกลุ่มเป็นชุดชุดละ 3 ค่า แต่ละค่าจะถูกฝัง (embedded) ด้วยความถี่ไซน์และโคไซน์ที่เรียนรู้ได้ 16 ค่า ส่วนค่าที่สูญหายจะได้รับเวกเตอร์ที่เรียนรู้เฉพาะตัว และมีสเตจคอลัมน์ 2 สเตจทำหน้าที่สรุปกลุ่มฟีเจอร์แต่ละกลุ่มโดยใช้ช่องสัญญาณแฝง (latent slots) จำนวน 128 ช่อง
การที่ Causilo เลือกใช้สถาปัตยกรรมแบบ in-context learning และใช้ครอสแอตเทนชัน (cross-attention) แทนการใช้ self-attention แบบเต็มรูปแบบ ถือเป็นจุดเด่นสำคัญที่ช่วยรักษาสภาพต้นทุนการคำนวณให้อยู่ในระดับเส้นตรง (linear cost) ตามจำนวนฟีเจอร์ ซึ่งช่วยแก้ปัญหาคอขวดด้านหน่วยความจำและการประมวลผลที่มักเกิดขึ้นกับโมเดลข้อมูลตารางขนาดใหญ่
สำหรับการประเมินผลอย่างเป็นทางการ Nums AI ได้ใช้ไปป์ไลน์อย่างเป็นทางการของ TabArena ซึ่งประกอบด้วย 51 ชุดข้อมูล, 816 Full splits, 8 ตัวประมาณค่า (estimators) และกำหนด seed เป็น 42 โดยผู้ดูแลระบบของ TabArena ได้ทำการรันการประเมินผลใหม่อีกครั้งอย่างอิสระและยืนยันผลคะแนนรวม Elo ที่ระดับ 1794 พร้อมทั้งยังมีการทดสอบเพิ่มเติมบน ScoringBench ซึ่ง Causilo สามารถครองอันดับ 1 ในด้าน CRPS, R² และ RMSE บนชุดข้อมูล 101 ชุดด้วยเช่นกัน
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ผู้ที่สนใจใช้งานสามารถติดตั้งโมเดลได้อย่างง่ายดายผ่านคำสั่ง pip install causilo และเรียกใช้งานคลาส CausiloClassifier หรือ CausiloRegressor ตามต้องการ พร้อมทั้งสามารถทดลองใช้งานผ่านหน้าเดโม Hugging Face Space หรือตรวจสอบซอร์สโค้ดและโมเดลได้ทาง GitHub และ Hugging Face
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น