qwenGPU เปิดตัวโมเดล Qwen3.5-2B พร้อม 45 เลเยอร์รัน CUDA
ทำความรู้จัก qwenGPU การผสาน SIMT GPU เข้ากับโมเดล Qwen3.5-2B ผ่านการคอมไพล์ 45 เลเยอร์ เพื่อรันโค้ด CUDA ได้โดยตรงจากตัวโมเดล
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- qwenGPU ผสาน SIMT GPU 4 เลนเข้าไปใน Qwen3.5-2B
- ประกอบด้วย 45 เลเยอร์ที่ยังไม่ผ่านการฝึกฝน (untrained layers)
- โมเดลสามารถเขียนขั้นตอนการรัน CUDA ได้ด้วยตัวเอง
- ใช้ Gated DeltaNet state เป็นรีจิสเทอร์และหน่วยความจำ
วงการปัญญาประดิษฐ์ได้เห็นการพัฒนาครั้งสำคัญเมื่อนักพัฒนาได้เปิดตัว qwenGPU ซึ่งเป็นการนำสถาปัตยกรรม SIMT (Single Instruction, Multiple Threads) GPU จำนวน 4 เลน มาทำการคอมไพล์รวมเข้ากับน้ำหนักโมเดลขนาดเล็กอย่าง Qwen3.5-2B โดยเพิ่มเข้าไปเป็นเลเยอร์จำนวน 45 เลเยอร์ที่ยังไม่ผ่านการฝึกฝนล่วงหน้า
ความโดดเด่นของนวัตกรรมนี้อยู่ที่ความสามารถของโมเดลในการจัดการคำสั่งระดับต่ำ โดยตัวโมเดลสามารถเขียนขั้นตอนทั้งหมดของการรัน CUDA (Compute Unified Device Architecture) จริงๆ ขึ้นมาได้ด้วยตัวเอง ซึ่งนับเป็นแนวทางที่แปลกใหม่ในการผสมผสานสถาปัตยกรรมการประมวลผลกราฟิกเข้ากับโมเดลภาษาขนาดใหญ่ (LLM)
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในแง่ของการทำงานภายใน qwenGPU ได้เลือกใช้กลไกของ Gated DeltaNet state ทำหน้าที่เสมือนเป็นรีจิสเทอร์และหน่วยความจำ (memory) สำหรับระบบประมวลผลจำลองนี้ ทำให้โมเดลสามารถจำลองการทำงานของหน่วยประมวลผลกราฟิกภายในโครงข่ายประสาทเทียมได้
การนำ SIMT GPU มารวมเข้ากับน้ำหนักของโมเดลภาษาขนาดใหญ่เช่นนี้ถือเป็นก้าวที่ท้าทายขอบเขตเดิมๆ ของสถาปัตยกรรม AI โดยปกติแล้ว การรันโค้ด CUDA จะต้องอาศัยฮาร์ดแวร์การ์ดจอแยกและการประมวลผลผ่านไดรเวอร์ภายนอก แต่การที่โมเดลสามารถจำลองการทำงานและสร้างคำสั่ง CUDA ได้เองในระดับเลเยอร์ อาจเปิดประตูไปสู่แนวทางการประมวลผลแบบไฮบริดที่โมเดลภาษาอาจสามารถรันโค้ดฮาร์ดแวร์หรือจำลองสภาพแวดล้อมการคำนวณได้โดยตรงในอนาคต แม้ว่าในปัจจุบันจะยังอยู่ในขั้นทดลองและมีเลเยอร์ที่ยังไม่ได้ฝึกฝนก็ตาม
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น