Liquid AI เปิดตัวโมเดล LFM2.5-DSpark เร่งความเร็วการถอดรหัส
Liquid AI ปล่อยโมเดลร่าง LFM2.5-DSpark ดันความเร็วการถอดรหัสพุ่งสูงสุด 3.18 เท่าบนฮาร์ดแวร์อย่าง H100 และ M4 Max
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Liquid AI เปิดตัวโมเดลร่าง LFM2.5-DSpark สำหรับเทคนิค Speculative Decoding
- ช่วยเร่งความเร็วการถอดรหัสสูงสุด 3.18 เท่าโดยไม่เปลี่ยนผลลัพธ์ของโมเดลหลัก
- น้ำหนักโมเดลมีขนาดราว 300 ล้านพารามิเตอร์ และแชร์เวทคำศัพท์จากโมเดลเป้าหมาย
- สถาปัตยกรรม DSpark ผสาน DFlash, L-Sequential Head และ Confidence-Scheduled Verifier
Liquid AI ได้ทำการปล่อยโมเดลร่าง LFM2.5-DSpark ออกมาเพื่อยกระดับกระบวนการ Speculative Decoding โดยมุ่งเน้นไปที่การเพิ่มความเร็วในการถอดรหัสสูงสุดถึง 3.18 เท่าโดยที่ผลลัพธ์ของโมเดลยังคงเดิม น้ำหนักของโมเดลร่างเหล่านี้จะถูกจัดส่งในรูปแบบ Safetensors และ GGUF ซึ่งผู้ใช้งานที่ต้องการรันด้วยตนเองจำเป็นต้องใช้บิลด์ของ SGLang หรือ llama.cpp ที่รองรับ DSpark สำหรับเป้าหมายตระกูล LFM2
ในด้านสถาปัตยกรรม โมเดลร่าง LFM2.5 แต่ละตัวมีขนาดประมาณ 300 ล้านพารามิเตอร์ โดยแบ่งเป็น 295.7 ล้านพารามิเตอร์สำหรับเป้าหมายขนาด 1.2B-Instruct และ 327.7 ล้านพารามิเตอร์สำหรับเป้าหมายขนาด 2.6B และ 8B-A1B โครงสร้างหลักประกอบด้วยเลเยอร์ Full-Attention จำนวน 5 เลเยอร์, มีค่า hidden_size เท่ากับ 2048, intermediate_size เท่ากับ 6144, GQA ที่ 32 หัวความสนใจเหนือ 8 KV หัว และขนาดบล็อกเท่ากับ 9 ทั้งนี้โมเดลร่างไม่ได้บรรจุเวทคำศัพท์มาด้วย แต่จะทำการผูก Embedding และ LM Head เข้ากับโมเดลเป้าหมายตั้งแต่ตอนโหลดโมเดล ส่วนขนาดของที่เก็บข้อมูลโมเดลร่าง 2.6B ในรูปแบบ BF16 จะอยู่ที่ 655 เมกะไบต์ ซึ่งเป็นต้นทุนด้านหน่วยความจำที่เพิ่มขึ้นจริง
เทคโนโลยี DSpark ของ Liquid AI ผสานการทำงานจากสามส่วนประกอบหลักเข้าด้วยกัน ดังนี้:
- DFlash Parallel Backbone: โครงสร้างพื้นฐานแบบคู่ขนานที่ปรับสภาพด้วยฟีเจอร์บริบทของเป้าหมายเพื่อสร้างสถานะซ่อนสำหรับโทเค็นร่างทั้งหมดในการส่งผ่านข้อมูลครั้งเดียว
- LightQuet Sequential Head: หัวประมวลผลแบบลำดับน้ำหนักเบาที่จำลองเป็นห่วงโซ่มาร์คอฟระหว่างโทเค็นข้างเคียงที่อันดับ 256 เพื่อคืนค่าความสัมพันธ์ระหว่างโทเค็นและเพิ่มอัตราการยอมรับในตำแหน่งบล็อกถัดไป
- Confidence-Scheduled Verifier: ตัวตรวจสอบที่กำหนดเวลาตามความมั่นใจ ทำหน้าที่ทำนายความน่าจะเป็นในการรอดชีวิตของแต่ละโทเค็น และตัดทอนส่วนท้ายที่มีความมั่นใจต่ำออกเมื่อการตรวจสอบมีต้นทุนสูงกว่าประโยชน์ที่ได้รับ
การทดสอบประสิทธิภาพของ Liquid AI ดำเนินการบนจีพียู 1xH100 ในรูปแบบ BF16 ผ่าน SGLang และบนชิป M4 Max MacBook Pro ผ่าน llama.cpp ร่วมกับ Metal และเวท FP16 GGUF โดยทุกการทดสอบใช้ขนาดบล็อกที่ 9, ขนาดแบทช์เท่ากับ 1 และอุณหภูมิที่ 0 ครอบคลุมชุดข้อมูลประเมินผลอย่าง MATH500, HumanEval, MBPP, GSM8K และ MT-Bench อัตราความเร็วที่เพิ่มขึ้นจะแปรผันตามอัตราการยอมรับ ซึ่งขึ้นอยู่กับความสามารถในการคาดการณ์ผลลัพธ์ของโมเดล ตัวอย่างเช่น โมเดล LFM2.5-8B-A1B มีอัตราการยอมรับ 8.27 จาก 10 โคนเค็นต่อขั้นตอนบนชุดข้อมูล MATH500 แต่ลดลงเหลือ 4.02 บน GSM8K ส่งผลให้ประสิทธิภาพความเร็วตกลงจาก 3.18 เท่าเหลือ 1.29 เท่าบนฮาร์ดแวร์เดียวกัน
"LFM2.5-8B-A1B accepts 8.27 of 10 tokens per step on MATH500 and only 4.02 on GSM8K, so the same model swings from 3.18x to 1.29x on the same GPU."
Liquid AI
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
บริบทเพิ่มเติม: เทคนิค Speculative Decoding เป็นแนวทางสำคัญในวงการปัญญาประดิษฐ์ปัจจุบันที่ช่วยแก้ปัญหาคอขวดของการประมวลผลแบบทีละโทเค็น (Autoregressive) โดยอาศัยโมเดลขนาดเล็กที่มีความเร็วกสูงมาช่วยร่างคำตอบล่วงหน้า แล้วให้โมเดลขนาดใหญ่ตรวจสอบความถูกต้องทีเดียวหลายโทเค็น การที่ Liquid AI พัฒนาสถาปัตยกรรม DSpark ขึ้นมาช่วยให้กระบวนการนี้ทำงานร่วมกับโมเดลตระกูล LFM2 ได้อย่างมีประสิทธิภาพมากขึ้น โดยเฉพาะในงานที่ต้องใช้การประมวลผลเชิงเหตุผลซ้ำๆ ก่อนเรียกใช้งานเครื่องมือภายนอก (Function Calling)
อย่างไรก็ตาม ข้อจำกัดที่ชัดเจนปรากฏบนชิปตระกูล Apple ซิลิคอน โดยสถาปัตยกรรม MoE ของโมเดล LFM2.5-8B-A1B ทำความเร็วเพิ่มขึ้นเฉลี่ยเพียง 1.18 เท่าบน M4 Max ซึ่งทาง Liquid AI ระบุว่าเป็นผลมาจากการใช้งาน MoE ในปัจจุบันของแบ็กเอนด์ Metal บน llama.cpp และการตรวจสอบโทเค็นจำนวน k ตัวกระตุ้นผู้เชี่ยวชาญ (Experts) มากขึ้น ส่งผลให้เกิดการรับส่งน้ำหนัก (Weight Traffic) มากกว่าการถอดรหัสในขั้นตอนเดียวทั่วไป
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
แม้จะมีข้อจำกัดดังกล่าว แต่ประโยชน์ของระบบจะเห็นได้ชัดเจนในสถานการณ์ที่ผู้ใช้งานต้องรอคอยกระบวนการใช้เหตุผลก่อนการเรียกใช้เครื่องมือแต่ละครั้ง โดย Liquid AI รายงานว่า DSpark สามารถลดเวลาแฝงลงได้เฉลี่ยถึง 57% สำหรับโมเดล LFM2.5-2.6B ในสถานการณ์การเรียกใช้งานเครื่องมือแบบหลายฟังก์ชัน ซึ่งเอเจนต์ที่ต้องวางแผน เรียกใช้ และวางแผนใหม่จะต้องแบกรับต้นทุนการถอดรหัสหลายครั้งต่อหนึ่งรอบการทำงานของผู้ใช้
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น