Zyphra AI เปิดตัว ZHA สถาปัตยกรรม Attention แบบ Subquadratic
Zyphra AI เสนอ Zyphra Hierarchical Attention (ZHA) วิธี Sparse attention แบบดัชนีต้นไม้ ปรับแต่ง LLM เดิมด้วยการกลั่นความรู้ 4 พันล้านโทเค็น
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Zyphra AI เปิดตัว Zyphra Hierarchical Attention หรือ ZHA
- เป็นวิธี tree-indexed sparse attention เพื่อเพิ่มประสิทธิภาพโมเดลภาษา
- ปรับแต่งโมเดล LLM เดิมด้วยการกลั่นความรู้ (Distillation) 4 พันล้านโทเค็น
- ทำคะแนนเทียบเท่า dense attention ในด้านการใช้เหตุผลและชุดทดสอบการดึงข้อมูล 256K
บริษัท Zyphra AI ได้ประกาศเปิดตัวนวัตกรรมใหม่ในวงการปัญญาประดิษฐ์ภายใต้ชื่อ Zyphra Hierarchical Attention หรือที่เรียกสั้นๆ ว่า ZHA ซึ่งถูกออกแบบมาเพื่อเป็นเส้นทางสู่การทำ Subquadratic Attention อย่างแท้จริง โดยนวัตกรรมนี้เข้ามาช่วยแก้ปัญหาคอขวดด้านการประมวลผลของโมเดลภาษาขนาดใหญ่ (LLMs) ที่มักเผชิญกับข้อจำกัดด้านความซับซ้อนในการคำนวณ
เทคนิค ZHA นี้ใช้แนว tree-indexed sparse attention ซึ่งเป็นการจัดทำดัชนีแบบต้นไม้เพื่อให้โมเดลสามารถเลือกโฟกัสเฉพาะจุดที่จำเป็น แทนที่จะต้องคำนวณความสัมพันธ์ระหว่างทุกโทเค็นแบบเต็มรูปแบบเหมือนสถาปัตยกรรมดั้งเดิม ส่งผลให้ช่วยลดภาระการประมวลผลลงได้อย่างมากโดยไม่สูญเสียประสิทธิภาพในการทำงานหลัก
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
การพัฒนาวิธี Subquadratic Attention ถือเป็นก้าวสำคัญของวงการ AI เนื่องจากสถาปัตยกรรม Transformer แบบดั้งเดิมมักมีปัญหาความซับซ้อนระดับ Quadratic (O(N^2)) เมื่อความยาวบริบทเพิ่มขึ้น การที่ ZHA สามารถรักษาความสามารถเทียบเท่า dense attention ไว้ได้พร้อมกับลดต้นทุนการคำนวณ จึงช่วยเปิดทางให้โมเดลภาษาสามารถรองรับเอกสารขนาดยาวมากๆ ได้อย่างมีประสิทธิภาพในอนาคต
กระบวนการพัฒนาและปรับปรุงโมเดลของ ZHA อาศัยการนำโมเดลภาษาขนาดใหญ่ที่ถูกแช่แข็งไว้ (frozen LLMs) มาทำการปรับแต่งเพิ่มเติมผ่านกระบวนการกลั่นความรู้ (Distillation) โดยใช้ชุดข้อมูลขนาดใหญ่ถึง 4 พันล้านโทเค็น เพื่อถ่ายทอดความสามารถและความเข้าใจเชิงลึกให้กับสถาปัตยกรรมใหม่นี้
ผลลัพธ์จากการทดสอบแสดงให้เห็นว่า ZHA สามารถทำผลงานได้ทัดเทียมกับวิธี dense attention แบบดั้งเดิม ทั้งในแง่ของความสามารถในการใช้เหตุผล (reasoning) และในชุดทดสอบมาตรฐานสำหรับการดึงข้อมูลระยะไกลที่ความยาว 256K โทเค็น (256K retrieval benchmarks) ซึ่งยืนยันถึงความแม่นยำและประสิทธิภาพของวิธีดังกล่าว
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น