Knowledgator เปิดตัว GLiFormer เอนโคเดอร์ 575 ล้านพารามิเตอร์
Knowledgator ปล่อย GLiFormer โมเดลเอนโคเดอร์ขนาด 575 ล้านพารามิเตอร์ ทำคะแนน F1 91.10 บนการสกัด JSON ซ้อนกันโดยไม่ต้องสร้างโทเค็น
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Knowledgator เปิดตัว GLiFormer โมเดลเอนโคเดอร์ขนาด 575 ล้านพารามิเตอร์
- ทำคะแนน F1 ได้ 91.10 บนการสกัด Nested JSON โดยไม่ต้องสร้างโทเค็น
- ประหยัดพารามิเตอร์กว่า Gemma-4-E4B ประมาณ 14 เท่าในขนาด Large
- ติดตั้งง่ายผ่าน pip และใช้งานได้ทั้งบน CPU และ GPU ภายใต้สัญญาอนุญาต Apache 2.0
Knowledgator ได้เปิดตัว GLiFormer โมเดลเอนโคเดอร์ขนาด 575 ล้านพารามิเตอร์ ซึ่งถูกออกแบบมาเพื่อแก้ไขปัญหาการสกัดข้อมูลโดยไม่ต้องพึ่งพากลไกการสร้างโทเค็นแบบโมเดลภาษาขนาดใหญ่ (LLM) ทั่วไป โดยทั่วไปแล้วสแต็กการสกัดข้อมูลมักจะต้องร้อยเรียงโมเดลหลายตัวเข้าด้วยกัน เช่น โมเดลแท็กเอนทิตี โมเดลจำแนกเอกสาร และโมเดลสร้างเรคคอร์ดใหม่ แต่ทีมนักวิจัยมองว่างานเหล่านี้ใช้แกนหลักร่วมกันคือ การเข้ารหัสต้นทาง แทนที่จะเป็นการสร้างข้อความทีละโทเค็น
โมเดล GLiFormer นี้พัฒนาต่อยอดมาจาก GLiNER โดยgeneralized การจับคู่ป้ายกำกับผ่านแนวคิดที่เรียกว่า 'anchor' ซึ่งหมายถึงวัตถุที่ป้ายกำกับรันไทม์แต่ละตัวถูกนำไปเทียบความเข้ากันได้ โดยสามารถเป็นได้ทั้งเวกเตอร์กลุ่มสำหรับงานจำแนกประเภท คู่เอนทิตีสำหรับความสัมพันธ์ หรือสล็อตเรคคอร์ด ระบบจะทำการเข้ารหัสต้นฉบับเพียงครั้งเดียว แล้วรันสกีมาที่หลากหลายสำหรับเอกสารเดียวกันเป็นกลุ่มเฉพาะกิจ
สำหรับการทำงานในส่วนของ Named Entity Recognition (NER) หัวของโมเดลจะให้คะแนนหลักฐานจุดเริ่มต้น จุดสิ้นสุด และภายในสำหรับทุกคู่โทเค็นและป้ายกำกับ ผลลัพธ์ซิกมอยด์ที่เป็นอิสระช่วยให้การกล่าวถึงที่ซ้อนกันและขอบเขตที่ใช้ร่วมกันสามารถอยู่ร่วมกันได้ นอกจากนี้ ค่าต่างๆ จะดึงมาจากช่วงในซอร์สข้อความ ทำให้โมเดลไม่สามารถสร้างข้อความขึ้นมาเองได้นอกเหนือจากข้อมูลนำเข้า
ตัวตรวจเช็คพอยต์ทั้งสองเวอร์ชัน v1 ใช้ประเภทโมเดล gliformer-layout ที่มี 5 หัว ได้แก่ NER, การจำแนกประเภท, ความสัมพันธ์ร่วม, โครงสร้างหลายระดับ และ embeddings โดยแต่ละค่ากำหนดความกว้างสองคำสูงสุด 12 คำ และ 100 เรคคอร์ด anchors สำหรับรุ่น GLiFormer-base นั้นใช้แบ็กโบน DeBERTa ที่ผ่านการpre-train เพิ่มเติมบนโทเค็น 100,000 ล้านโทเค็น พร้อมชุดข้อมูลฝึกอบรม 1,357,671 ตัวอย่างสำหรับงานมัลติทาสก์ และ 372,090 ตัวอย่างสำหรับการฝึกอบรมหลังจบงานเฉพาะทาง
"Extraction stacks often chain separate models. One tags entities, another classifies documents, and a third rebuilds records. The research team argues these tasks share one core operation."
การที่ GLiFormer เลือกใช้วิธีการเอนโคเดอร์แทนการสร้างโทเค็น (Token Generation) ทีละตัวแบบ LLM ช่วยลดภาระการประมวลผลได้อย่างมหาศาล เนื่องจากโมเดลภาษาขนาดใหญ่มักประสบปัญหาคอขวดในการสร้างข้อความเอาต์พุตที่มีโครงสร้างซับซ้อนอย่าง JSON การตัดขั้นตอนนี้ออกทำให้โมเดลสามารถโฟกัสไปที่ความสัมพันธ์ของข้อมูลและการสกัดโครงสร้างได้โดยตรง ส่งผลให้ความเร็วในการประมวลผลสูงขึ้นอย่างเห็นได้ชัดและลดโอกาสที่โมเดลจะกุข้อมูลขึ้นมาเอง (Hallucination)
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในด้านผลการทดสอบความเร็ว Knowledgator ได้ทำการทดสอบ GLiFormer-base บนเอกสารโครงสร้างจำนวน 40 ฉบับ ด้วยขนาดแบตช์ 1 พบว่าค่ามัธยฐานของเวลาแฝง (Median Latency) อยู่ที่ 69 มิลลิวินาที บน GPU แบบ NVIDIA RTX PRO 6000 Blackwell ในโหมด FP16 และอยู่ที่ 547 มิลลิวินาที บนซีพียู AMD EPYC 9B45 แบบ 8 เธรด ในโหมด FP32 ทั้งนี้ ตัวเลขการเคลมว่าเร็วกว่าสูงสุด 95.8 เท่า เป็นการประเมินเชิงวิเคราะห์โดยอิงจากการทำงานของ LLM ที่ความเร็วพรีฟิล 2,000 โทเค็นต่อวินาทีและการสร้าง 60 โทเค็นต่อวินาที โดยไม่รวมค่าความล่าช้าจากคิวและเครือข่าย
โมเดลทั้งสองชุดพร้อมให้ใช้งานแล้ววันนี้ภายใต้สัญญาอนุญาต Apache 2.0 สามารถติดตั้งได้ผ่านคำสั่ง pip install gliformer และรองรับการทำงานบนทั้งซีพียูและจีพียู โดยนักพัฒนาที่สนใจสามารถศึกษาข้อกำหนดฉบับเต็มและโค้ดได้ทาง GitHub และเอกสารประกอบของโมเดล
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น