Liquid AI เปิดตัว LFM2.5-Encoder ขนาด 230M และ 350M เอ็นโคเดอร์ประมวลผลเร็วที่ 8K บน CPU
Liquid AI รุกตลาดเอนโคเดอร์สองทิศทางรุ่นใหม่ พัฒนาต่อยอดจากสถาปัตยกรรม LFM2.5 โดดเด่นด้านความเร็วในการรองรับบริบท 8,000 โทเค็นบน CPU โดยไม่ต้องพึ่งพา GPU
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Liquid AI เปิดตัวโมเดล LFM2.5-Encoder สองขนาด ได้แก่ 230M และ 350M
- ออกแบบมาเพื่อรองรับงานประมวลผลยาว 8,000 โทเค็น หรือราว 13-15 หน้า บน CPU ได้อย่างรวดเร็ว
- รุ่น 350M ทำคะแนนเฉลี่ย 17 งานได้ 81.02 คว้าอันดับ 4 ในตารางการประเมิน
- ใช้สถาปัตยกรรมสลับช่วงบล็อกคอนโวลูชันสั้นแบบเกตและ grouped-query attention รองรับ 15 ภาษา
บทบาทของเอนโคเดอร์ (Encoders) ทำหน้าที่เบื้องหลังระบบตัวจำแนกประเภท ตัวกำหนดเส้นทางเจตนา ตัวกรองความปลอดภัย และระบบตรวจจับข้อมูลส่วนบุคคล (PII) งานเหล่านี้มักต้องรันอย่างต่อเนื่องและยาวนานขึ้นเรื่อยๆ โดยปราศจากการใช้งาน GPU ตั้งแต่อดีตที่ BERT เคยสร้างมาตรฐานไว้ จนกระทั่ง ModernBERT พัฒนาความแม่นยำและความเร็วให้ดีขึ้น ล่าสุด Liquid AI ได้นำเสนอสถาปัตยกรรม LFM2 ซึ่งต้นทุนการประมวลผลจะเติบโตช้าลงเมื่ออินพุตมีความยาวมากขึ้น
ตัวโมเดลเอนโคเดอร์เหล่านี้ไม่ได้ถูกฝึกฝนขึ้นใหม่ตั้งแต่เริ่มต้น แต่เริ่มจากการนำแบ็คโบนตัวถอดรหัสจาก LFM2.5-230M และ LFM2.5-350M มาแปลงผ่านการปรับเปลี่ยน 3 จุดสำคัญ ทางด้านสถาปัตยกรรมจะสลับช่วงบล็อกคอนโวลูชันสั้นเข้ากับ grouped-query attention ขนาดซ่อนเท่ากับ 1024 มีคลังคำศัพท์ 65,536 โทเค็น รองรับ 15 ภาษา และอยู่ภายใต้สัญญาอนุญาต LFM Open License v1.0
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
Liquid AI ได้ทำการประเมินโมเดลจำนวน 14 โมเดล ผ่าน 17 งานจากชุดข้อมูล GLUE, SuperGLUE และการจำแนกประเภทหลายภาษา ผลปรากฏว่า LFM2.5-Encoder-350M ทำคะแนนเฉลี่ย 17 งานอยู่ที่ 81.02 (±1.00) อยู่อันดับที่ 4 โดยโมเดลสามอันดับแรกที่มีคะแนนเหนือกว่าล้วนแต่มีขนาดใหญ่กว่าทั้งหมด ได้แก่ XLM-R XL ขนาด 3.5B (83.06), ModernBERT-large ขนาด 395M (81.68) และ XLM-R large ขนาด 560M (81.34) ซึ่งโมเดลอันดับหนึ่งมีขนาดใหญ่กว่าเกือบ 10 เท่า
ในขณะที่ LFM2.5-Encoder-230M ทำคะแนนได้ 79.29 (±1.02) อยู่อันดับที่ 6 ซึ่งสามารถเอาชนะ ModernBERT-base ที่ทำได้ 78.19 รวมถึงโมเดล EuroBERT ทุกรุ่นในตาราง เช่น EuroBERT-610M (75.87) และ EuroBERT-2.1B (72.19) นอกจากนี้ โมเดลเอนโคเดอร์ใหม่ทั้งสองตัวยังมีคะแนนสูงกว่าโมเดลการดึงข้อมูลพี่น้องอย่าง LFM2.5-ColBERT-350M (76.18) และ LFM2.5-Embedding-350M (75.68) อีกด้วย
การที่ Liquid AI พัฒนาเอนโคเดอร์อเนกประสงค์ตัวนี้ขึ้นมาแทนที่จะใช้โมเดลประเภท retrieval ซ้ำ สะท้อนให้เห็นถึงความพยายามในการสร้างรากฐานที่ทรงพลังสำหรับการประมวลผลข้อความยาวๆ บนฮาร์ดแวร์ทั่วไปอย่าง CPU ซึ่งมีความสำคัญอย่างยิ่งต่อภาคธุรกิจที่มีข้อจำกัดด้านความปลอดภัยของข้อมูลและไม่ต้องการส่งข้อมูลออกนอกคลาวด์
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น