Linkup Research เปิดตัว SPARSEUP โมเดล Open-Source 149M
Linkup Research เปิดตัว SPARSEUP โมเดล Sparse Embedding ขนาด 149 ล้านพารามิเตอร์ ใช้งานได้จริงบน Hugging Face ใต้สัญญา Apache 2.0
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Linkup Research เปิดตัว SPARSEUP โมเดล Sparse Embedding โอเพนซอร์สขนาด 149 ล้านพารามิเตอร์
- โมเดลโหลดใช้งานผ่าน Transformers หรือ Sentence Transformers พร้อมสัญญา Apache 2.0
- พัฒนาต่อยอดจาก LateOn-unsupervised และใช้ชุดข้อมูลฟายน์ทูนเดียวกับ LightOn
- รองรับการค้นหาผ่าน Seismic inverted index ให้ค่า recall กว่า 97% ด้วยความเร็ว 380 ไมโครวินาทีต่อเคียวรี
Linkup Research ได้ประกาศเปิดตัว SPARSEUP ซึ่งเป็นโมเดล Sparse Embedding แบบโอเพนซอร์สขนาด 149 ล้านพารามิเตอร์ โดยน้ำหนักโมเดลพร้อมให้ดาวน์โหลดแล้วบน Hugging Face ภายใต้สัญญาอนุญาตแบบ Apache 2.0 ผู้ใช้งานสามารถโหลดโมเดลผ่านไลบรารี Transformers หรือ Sentence Transformers ได้ทันทีด้วยคำสั่ง trust_remote_code=True
โมเดลรีทรีวัลส่วนใหญ่ในปัจจุบันจะเป็นแบบ Dense ซึ่งให้เวกเตอร์ 1 เวกเตอร์ต่อข้อความ แต่โมเดลแบบ Sparse จะสร้างค่าน้ำหนักกระจายไปตามคำศัพท์ในคลังคำ โดยแต่ละมิติจะแมปกับโทเคนจริง ทำให้เวกเตอร์เหล่านี้สามารถจัดเก็บใน inverted index และมนุษย์สามารถอ่านเข้าใจได้โดยตรง พร้อมทั้งช่วยให้การค้นหาคำศัพท์หายากทำได้ดีขึ้นอีกด้วย
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
จุดเริ่มต้นของการพัฒนาโมเดลนี้มาจากการเปิดตัว DenseOn และ LateOn ของ LightOn ที่ได้เผยแพร่ข้อมูลเปิด สูตรการฝึกอบรม โมเดล Dense และโมเดล Late-interaction ออกมาก่อนหน้านี้ SPARSEUP จึงเข้ามาเติมเต็มช่องว่างในส่วนของ Sparse ทำให้สามารถนำรีทรีวัลทั้ง 3 รูปแบบมาเปรียบเทียบกันแบบตัวต่อตัวได้เนื่องจากใช้แบ็กโบนตระกูลเดียวกันและชุดข้อมูลฟายน์ทูนเดียวกัน
การฝึกอบรมเริ่มต้นจากจุดตรวจเช็ก LateOn-unsupervised ที่ไม่มีหัวข้อ MLM ทีมงานจึงได้นำหัวข้อเดิมของ ModernBERT กลับมาใส่ใหม่อีกครั้ง การฟายน์ทูนใช้ชุดข้อมูลผสมของ LightOn ร่วมกับการเรียนรู้แบบ contrastive เท่านั้น โดยกำหนดให้แต่ละเคียวรีมี hard negatives จำนวน 7 ตัวอย่างจากพูล 50 ตัวอย่าง รวมถึง negative ในแบตช์ โดยไม่มีการทำ cross-encoder distillation และกระบวนการฝึกทั้งหมดใช้การ์ดจอ H100 เพียงตัวเดียว
"SPARSEUP wins ArguAna and Touché and beats DenseOn on HotpotQA. It lags on more semantic sets, with FiQA showing the largest gap."
Linkup Research
ในทางเทคนิค การพัฒนาโมเดล Sparse Embedding ถือเป็นก้าวสำคัญที่ช่วยแก้ปัญหาความโปร่งใสของระบบค้นหา (Information Retrieval) เนื่องจากเวกเตอร์ที่ได้สามารถอ่านรู้เรื่องและจับคู่คำศัพท์เฉพาะได้ดี ต่างจากโมเดล Dense ที่มักซ่อนความหมายไว้ในตัวเลขเวกเตอร์ทศนิยมหลากมิติ การที่ SPARSEUP เปิดให้ใช้งานบน Hugging Face ภายใต้สัญญา Apache 2.0 จึงเปิดโอกาสให้นักพัฒนาสามารถนำไปทดลองและเปรียบเทียบประสิทธิภาพกับโมเดลตระกูล Dense และ Late-interaction ได้อย่างสะดวก
ในการประเมินผลบน BEIR-13 (nDCG@10 โดยไม่รวม MS MARCO) เมื่อควบคุมตัวแปรด้านแบ็กโบนและข้อมูลแล้ว LateOn ทำคะแนนได้ 58.9, DenseOn ได้ 57.9 และ SPARSEUP ได้ 56.4 โดย SPARSEUP ใช้การค้นหาแบบประมาณการ Seismic ขณะที่ LightOn ใช้การค้นหาแบบแม่นยำ SPARSEUP สามารถเอาชนะในชุดข้อมูล ArguAna และ Touché รวมถึงเหนือกว่า DenseOn บน HotpotQA แต่ยังทำคะแนนได้น้อยกว่าในชุดข้อมูลที่มีความหมายซับซ้อนอย่าง FiQA และ DBPedia
เมื่อทดสอบบน MS MARCO พบว่า SPARSEUP มีคำที่มีค่าไม่เป็นศูนย์เฉลี่ย 47 คำต่อเคียวรี และ 190 คำต่อเอกสาร ขณะที่ SPLADE-v3 อยู่ที่ 25 และ 170 คำตามลำดับ และเมื่อใช้ร่วมกับ Seismic inverted index จะช่วยให้ได้ค่า recall สูงกว่า 97% เมื่อเทียบกับการค้นหาแบบแม่นยำ ด้วยความเร็วราว 380 ไมโครวินาทีต่อเคียวรีแบบเธรดเดี่ยว
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น