VIDRAFT POCKET-Darwin-180B-GGUF: โมเดล MoE บนแล็ปท็อป

วงการปัญญาประดิษฐ์ต้องฮือฮาอีกครั้งเมื่อ VIDRAFT ได้ปล่อยโมเดล POCKET-Darwin-180B-GGUF ซึ่งเป็นรุ่นที่ถูกบีบอัดและปรับแต่งให้อยู่ในรูปแบบ GGUF แบบ 4-bit โดยต่อยอดมาจากรากฐานของโมเดล Darwin-180B-RSI ที่สร้างขึ้นบนโครงสร้าง Qwen3.8-Flash-Next ต้นฉบับเดิมนั้นมีขนาดใหญ่ถึง 360GB ในความแม่นยำระดับ BF16 ซึ่งโดยปกติแล้วต้องพึ่งพาเซิร์ฟเวอร์หลายการ์ดจอในการประมวลผล แต่เวอร์ชัน POCKET นี้ถูกออกแบบมาเพื่อแก้ปัญหาข้อจำกัดด้านฮาร์ดแวร์โดยเฉพาะตามกลยุทธ์ RSI สำหรับความสามารถและ POCKET สำหรับการนำไปใช้งานจริง

หัวใจสำคัญที่ทำให้โมเดลขนาดมหึมานี้สามารถย่อส่วนลงมาทำงานบนเครื่องคอมพิวเตอร์ทั่วไปได้ มาจากการผสาน 3 เทคนิคหลักเข้าด้วยกัน ได้แก่ สถาปัตยกรรม Sparse Mixture-of-Experts (MoE) การทำ 4-bit quantization และระบบสตรีมมิ่งน้ำหนักผ่าน SSD ด้วย llama.cpp โมเดลรุ่นนี้ประกอบด้วยเครือข่ายย่อยหรือ expert ทั้งหมด 512 ชุด แต่ในแต่ละ token จะมีการเรียกใช้งาน expert เพียงแค่ 10 ชุดเท่านั้น ส่งผลให้ภาระการประมวลผลจริงเทียบเท่ากับโมเดลที่มีพารามิเตอร์แอคทีฟเพียงประมาณ 3 พันล้านพารามิเตอร์เท่านั้น แม้ว่าจำนวนพารามิเตอร์รวมทั้งหมดจะสูงถึง 180 พันล้านก็ตาม

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

ในด้านของการจัดเก็บข้อมูล การแปลงน้ำหนักจาก BF16 เป็น 4-bit integer ช่วยลดพื้นที่จัดเก็บในดิสก์จาก 360GB ลงเหลือเพียง 111GB เท่านั้น โดยที่โครงสร้างการจัดเส้นทางของ MoE ยังคงถูกรักษาไว้ครบถ้วน นอกจากนี้ระบบยังใช้ความสามารถของ llama.cpp ในการสตรีมน้ำหนักโมเดลจาก SSD ตามความต้องการ แทนที่จะโหลดข้อมูลทั้งหมด 111GB เข้าสู่หน่วยความจำหลักในคราวเดียว ทำให้ SSD ทำหน้าที่เสมือนเป็นส่วนขยายของหน่วยความจำ ซึ่งเป็นกุญแจสำคัญที่ทำให้การกำหนดค่าฮาร์ดแวร์ระดับแล็ปท็อปเกมมิ่งที่มี VRAM 8GB และ RAM 32GB สามารถใช้งานโมเดลนี้ได้สำเร็จ