TokenGate จากสแตนฟอร์ดและเบิร์กลีย์ เร่งพรีฟิลล์ LLM เร็วขึ้น 11.3 เท่า
ทีมนักวิจัยสแตนฟอร์ดและยูซี เบิร์กลีย์ เปิดตัว TokenGate โมดูลตัดแต่งโทเค็น ช่วยเพิ่มความเร็วพรีฟิลล์บริบทคลังข้อมูลยาวๆ ได้ถึง 11.3 เท่า และลดหน่วยความจำสูงสุด 3.4 เท่า
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- นักวิจัยจากสแตนฟอร์ดและยูซี เบิร์กลีย์พัฒนา TokenGate
- เป็นโมดูลตัดแต่งโทเค็นแบบเรียนรู้ได้สำหรับโมเดลภาษาขนาดใหญ่
- เพิ่มความเร็วพรีฟิลล์บริบทนาวากว่าเดิมถึง 1.4 ถึง 11.3 เท่า
- ลดการใช้หน่วยความจำสูงสุด 1.5 ถึง 3.4 เท่าโดยไม่เสียความแม่นยำ
นักวิจัยปัญญาประดิษฐ์จากมหาวิทยาลัยสแตนฟอร์ด (Stanford) และมหาวิทยาลัยแคลิฟอร์เนีย เบิร์กลีย์ (UC Berkeley) ได้ร่วมกันพัฒนาและเปิดตัวโมดูลใหม่ที่มีชื่อว่า TokenGate ซึ่งเป็นระบบตัดแต่งโทเค็น (learned token pruning module) ที่ออกแบบมาเพื่อแก้ไขปัญหาคอขวดในการประมวลผลโมเดลภาษาขนาดใหญ่ (LLMs) โดยเฉพาะในส่วนของการจัดการบริบทข้อมูลขนาดยาว
ในปัจจุบัน การประมวลผลบริบทขนาดยาวของ LLM ต้องเผชิญกับปัญหาความล่าช้าในช่วงพรีฟิลล์ (prefill) ซึ่งเป็นขั้นตอนที่โมเดลต้องอ่านและทำความเข้าใจข้อมูลนำเข้าทั้งหมดก่อนที่จะเริ่มสร้างคำตอบออกมา ทำให้ผู้ใช้งานต้องรอนานและใช้ทรัพยากรหน่วยความจำอย่างมหาศาล แต่นวัตกรรมใหม่นี้เข้ามาช่วยปลดล็อกข้อจำกัดดังกล่าวได้อย่างมีประสิทธิภาพ
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
กลไกการทำงานของ TokenGate อาศัยหลักการความสนใจแบบควบคุมด้วยโทเค็น (token-gated attention) ที่สามารถคัดกรองและตัดแต่งโทเค็นที่ไม่จำเป็นทิ้งไปได้อย่างชาญฉลาดในระหว่างกระบวนการคำนวณ ส่งผลให้ภาระการทำงานของระบบลดลงอย่างฮวบฮาบ โดยจากการทดสอบพบตัวเลขที่น่าประทับใจดังนี้:
- ลดเวลาการรอคำตอบแรก (time-to-first-token) ในช่วงบริบทขนาดยาวลงได้ตั้งแต่ 1.4 เท่า ไปจนถึง 11.3 เท่า
- ลดการใช้หน่วยความจำสูงสุด (peak memory) ลงได้ตั้งแต่ 1.5 เท่า ไปจนถึง 3.4 เท่า
- รักษาความแม่นยำของผลลัพธ์เอาไว้ได้ครบถ้วนโดยไม่มีการสูญเสียประสิทธิภาพแต่อย่างใด
การพัฒนาโมดูลประเภท token pruning เช่น TokenGate สะท้อนให้เห็นถึงแนวทางแก้ปัญหาการประมวลผล LLM ยุคใหม่ ที่ไม่ได้เน้นแค่การเพิ่มฮาร์ดแวร์ให้ใหญ่ขึ้น แต่เป็นการปรับปรุงสถาปัตยกรรมซอฟต์แวร์ให้ฉลาดขึ้น เพื่อให้โมเดลสามารถจัดการกับหน้าต่างบริบท (context window) ที่ยาวมากๆ ได้โดยไม่กินทรัพยากรเครื่องจนเกินไป ซึ่งจะเป็นประโยชน์อย่างยิ่งสำหรับแอปพลิเคชันที่ต้องวิเคราะห์เอกสารยาวๆ หรือสนทนาต่อเนื่องเป็นเวลานาน
ความสำเร็จของทีมนักวิจัยจากสแตนฟอร์ดและเบิร์กลีย์ครั้งนี้ ถือเป็นก้าวสำคัญที่จะช่วยให้การใช้งานปัญญาประดิษฐ์ที่มีบริบทข้อมูลมหาศาลทำได้รวดเร็วและประหยัดต้นทุนมากยิ่งขึ้นในอนาคตอันใกล้นี้
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น