GGUF เป็นฟอร์แมตไบนารีเดี่ยวที่เก็บทั้งน้ำหนัก โทเค็นไนเซอร์ และแชทเทมเพลต เหมาะกับ llama.cpp
GPTQ และ AWQ ใช้การควอนไทซ์น้ำหนักหลังการฝึก โดย AWQ มีจุดเด่นที่การปกป้องเวทต์สำคัญ 1%
EXL2 เป็นฟอร์แมตเฉพาะของ ExLlamaV2 ที่ปรับแต่งมาเพื่อรันบน GPU สำหรับผู้บริโภคทั่วไป
Safetensors เข้ามาแทนที่ .bin เพื่อความปลอดภัยโดยตัดการรันโค้ดอันตรายออกทั้งหมด

การทำความเข้าใจว่าโมเดลภาษาขนาดใหญ่ (LLM) ถูกจัดเก็บบนดิสก์อย่างไรเริ่มต้นจากคอนเทนเนอร์ (Container) ที่กำหนดวิธีการเก็บเทนเซอร์ และวิธีควอนไทซ์ (Quantization) ที่บีบอัดน้ำหนักโมเดลให้ใช้จำนวนบิตน้อยลง โดยขนาดหน่วยความจำน้ำหนักคร่าวๆ จะคำนวณจากพารามิเตอร์คูณด้วยบิตต่อน้ำหนักหารด้วยแปด ซึ่งเป็นเรื่องของคณิตศาสตร์ล้วนๆ และยังไม่รวมส่วนของ KV cache หรือหน่วยความจำขณะรันไทม์

โมเดลแบบไม่ควอนไทซ์มักมาในรูปแบบ 16 บิต ผ่านไฟล์ตระกูล pytorch_model.bin หรือ model.safetensors โดยไฟล์ .bin แบบดั้งเดิมนั้นพึ่งพา Python pickle ซึ่งมีความเสี่ยงด้านความปลอดภัยเนื่องจากสามารถรันโค้ดแปลกปลอมได้เมื่อโหลดไฟล์จากแหล่งที่ไม่น่าเชื่อถือ

chromebook notebook computer office desk workspace

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

เพื่อแก้ปัญหานั้น ทาง Hugging Face จึงได้พัฒนา Safetensors ขึ้นมา โดยโครงสร้างภายในประกอบด้วยเฮดเดอร์ JSON ขนาดเล็กและบัฟเฟอร์เทนเซอร์ดิบที่ไม่มีโค้ดใดๆ ซ่อนอยู่ข้างใน ทำให้สามารถโหลดเทนเซอร์ทีละส่วนได้โดยไม่ต้องอ่านทั้งไฟล์ และปัจจุบันได้กลายเป็นโครงการของ PyTorch Foundation เรียบร้อยแล้ว แม้ว่าฟอร์แมตอย่าง GPTQ, AWQ และ EXL2 จะถูกจัดเก็บในไฟล์ .safetensors เช่นกัน แต่กระบวนการควอนไทซ์จะฝังอยู่ข้างในเทนเซอร์และไฟล์คอนฟิกแทน

การเลือกใช้ฟอร์แมตโมเดลที่เหมาะสมมีความสำคัญอย่างยิ่งต่องานพัฒนา AI ในปัจจุบัน เนื่องจากนักพัฒนาต้องสร้างสมดุลระหว่างความเร็วในการอนุมาน (Inference Speed) ขนาดหน่วยความจำ VRAM และความแม่นยำของผลลัพธ์ การทำความเข้าใจความแตกต่างของแต่ละฟอร์แมตจึงช่วยให้สามารถเลือกใช้งานบนฮาร์ดแวร์จำกัดได้อย่างมีประสิทธิภาพสูงสุด

สำหรับ GGUF ถือเป็นฟอร์แมตไบนารีที่พัฒนาโดย Georgi Gerganov ผู้นำโปรเจกต์ llama.cpp เปิดตัวครั้งแรกในเดือนสิงหาคม 2023 เพื่อแทนที่ฟอร์แมต GGML เดิมที่มีปัญหาเรื่องสถาปัตยกรรมและการเพิ่มไฮเปอร์พารามิเตอร์ GGUF จึงเปลี่ยนมาใช้เมตาเดตาแบบ Key-Value เพื่อรองรับการเพิ่มฟิลด์ใหม่โดยไม่ทำลายความเข้ากันได้กับไฟล์เก่า

256น้ำหนักต่อหนึ่งซูเปอร์บล็อกใน Q4_K

ในฝั่งของ GPTQ ซึ่งพัฒนาโดยทีมนักวิจัยจาก IST Austria และ ETH Zurich เป็นวิธีควอนไทซ์แบบรอบเดียวหลังการฝึก (One-shot Post-training) โดยอาศัยข้อมูลความโค้งระดับสองเพื่อคำนวณการปัดเศษน้ำหนัก ขณะที่ AWQ จากกลุ่มของ Song Han ที่ MIT เลือกใช้วิธีปกป้องเวทต์ที่มีความสำคัญสูงราว 1% โดยอาศัยขนาดแอคทิเวชันแทนที่จะเพิ่มความแม่นยำให้กับทุกส่วน ช่วยลดความผิดพลาดได้อย่างมีประสิทธิภาพโดยไม่ต้องฝึกโมเดลใหม่

"Not all weights matter equally. Protecting roughly 1% of 'salient' weights sharply reduces quantization error."
Song Han's group at MIT

สุดท้ายคือน้องใหม่อย่าง EXL2 ซึ่งเป็นฟอร์แมตเนทีฟของ ExLlamaV2 ออกแบบโดย turboderp สำหรับรันบน GPU ทั่วไป รองรับการบีบอัดตั้งแต่ 2 ถึง 8 บิต พร้อมต่อยอดสู่ EXL3 ที่นำระบบ QTIP จาก Cornell RelaxML มาปรับปรุงการจัดระเบียบเทนเซอร์และการเข้ารหัสเพื่อประสิทธิภาพที่สูงยิ่งขึ้น

ที่มา: MarkTechPost

Inewgen

#AWQ

GGUF vs GPTQ vs AWQ vs EXL2: เจาะลึกฟอร์แมตโมเดล LLM

Inewgen