Princeton เสนอ Recurrent Looped Transformer ขยายความลึก
นักวิจัยจาก Princeton เสนอ Recurrent Looped Transformer (RLT) ที่ผสาน encoder และ recurrent decoder ประมวลผล 96 บล็อกต่อโทเค็นพร้อมความลึกเชิงเวลาที่ไม่จำกัด
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- นักวิจัยจาก Princeton เสนอ Recurrent Looped Transformer (RLT)
- ผสาน causal encoder เข้ากับ recurrent decoder เพื่อส่งผ่าน state
- กำหนดค่าด้วย 48 ชั้น encoder และ 48 ชั้น decoder รวม 96 บล็อกต่อโทเค็น
นักวิจัยจากมหาวิทยาลัย Princeton ได้เสนอสถาปัตยกรรมใหม่ที่มีชื่อว่า Recurrent Looped Transformer (RLT) ซึ่งออกแบบมาเพื่อแก้ไขข้อจำกัดในการประมวลผลภาษา โดยสถาปัตยกรรมนี้ได้ทำการจับคู่ระหว่าง causal encoder ที่ประมวลผลโทเค็นแบบขนานภายใต้ causal mask กับ recurrent decoder เพื่อสร้างการทำงานที่มีประสิทธิภาพมากยิ่งขึ้น
กระบวนการทำงานเริ่มต้นจาก encoder ที่ทำหน้าที่ประมวลผลโทเค็นแบบขนานและสร้างตัวแทน representations e_t ออกมา ซึ่งจากจุดนี้จะมีการฉายหน่วยความจำ key-value memory M≤t โดยกลุ่มหน่วยความจำเหล่านี้สามารถแชร์ร่วมกันในทุกเลเยอร์ของ decoder หรือจะกำหนดให้แยกตามแต่ละเลเยอร์เฉพาะตัวก็ได้ ขึ้นอยู่กับการตั้งค่าที่ใช้งาน
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในส่วนของการกำหนดค่าแบบผูกโยงอ้างอิง (reference tied configuration) สถาปัตยกรรมนี้ใช้งาน 48 เลเยอร์สำหรับ encoder และอีก 48 เลเยอร์สำหรับ decoder พร้อมทั้งแชร์น้ำหนักความสนใจ (attention) และ FFN ที่เข้ากันได้ระหว่างกัน ส่งผลให้โทเค็นหนึ่งตัวต้องประมวลผลผ่านบล็อกลอจิกถึง 96 บล็อก แม้ว่าบล็อกของ decoder จะเพิ่มส่วน cross-attention เข้ามาทำให้ FLOPs ต่อบล็อกไม่เท่ากันก็ตาม ซึ่งผู้วิจัยระบุว่านี่คือกระบวนการนำพารามิเตอร์กลับมาใช้ใหม่ (parameter reuse)
"Zhang calls this parameter reuse, not activation copying."
MarkTechPost
สำหรับการฝึกอบรมล่วงหน้า (pretraining) นั้น จะใช้การทำนายโทเค็นถัดไปแบบเต็มลำดับ (full-sequence next-token prediction) ร่วมกับการทำ Backpropagation Through Time แบบเต็มรูปแบบ ส่วนกระบวนการ Supervised Fine-Tuning (SFT) จะทำการมาสก์ค่าความสูญเสีย (loss) เฉพาะเป้าหมายของผู้ช่วย แต่จะไม่มีการมาสก์การอัปเดต state แต่อย่างใด
สถาปัตยกรรม Transformer แบบดั้งเดิมมักประสบปัญหาข้อจำกัดด้านความยาวบริบทและต้นทุนการคำนวณที่เพิ่มขึ้นอย่างรวดเร็วเมื่อลำดับข้อมูลยาวขึ้น การที่ RLT นำกลไกแบบ Recurrent มาผสานเข้ากับ Looped Transformer ช่วยให้โมเดลสามารถรักษาและส่งต่อสถานะ (state) ข้ามโทเค็นได้อย่างมีประสิทธิภาพ โดยไม่ต้องขยายขนาดพารามิเตอร์ของโมเดลให้ใหญ่ขึ้นอย่างไร้ขีดจำกัด ซึ่งถือเป็นก้าวสำคัญในการพัฒนาโมเดลภาษาขนาดใหญ่ให้ประมวลผลข้อมูลที่มีความซับซ้อนเชิงเวลาสูงได้ดีขึ้น
ในด้านการให้บริการแบบหลายรอบ (multi-turn serving) การทำ snapshot ของ prefix ที่แน่นอนจะรวมถึงแคชของ encoder, หน่วยความจำ, state ทั้งหมดของ decoder, ข้อมูลเมตาของตำแหน่ง, ข้อกำหนดของหน้าต่าง และเวอร์ชันของโมเดล ซึ่งช่วยให้สามารถนำ fixed-weight snapshot กลับมาใช้ซ้ำได้เนื่องจาก state มีความเป็นอิสระจากการแบ่งส่วนการให้บริการ
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น