Perplexity เปิดตัว Lily: เอ็นจิ้น Rust และ Metal สำหรับรัน Qwen3.6
Perplexity โอเพนซอร์ส Lily เอ็นจิ้นอนุมานด้วย Rust และ Metal สำหรับรันโมเดล Qwen3.6-35B-A3B บน Apple Silicon ทำความเร็วพรีฟิลล์เฉลี่ยสูงถึง 4,156 โทเค็นต่อวินาที
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Perplexity เปิดซอร์สโค้ด Lily เอ็นจิ้นอนุมานแบบ Rust และ Metal สำหรับ Apple Silicon
- ออกแบบเฉพาะสำหรับโมเดล Qwen3.6-35B-A3B ชนิด 4-bit ขนาด 19.4 GB ต้องใช้แรมขั้นต่ำ 32 GB
- ทำความเร็วพรีฟิลล์เฉลี่ย 4,156 โทเค็น/วินาที และดีโค้ด 170 โทเค็น/วินาที บน M5 Max
- เพิ่มประสิทธิภาพด้วยการรวมเคอร์เนลและการประมวลผลบนจีพียูโดยตรง
บริษัท Perplexity ได้เปิดตัวซอร์สโค้ดของ Lily ซึ่งเป็นเอ็นจิ้นและเซิร์ฟเวอร์อนุมาน (Inference Engine and Server) ที่พัฒนาด้วยภาษา Rust และ Metal สำหรับรันโมเดลภาษาขนาดใหญ่โดยเฉพาะ โดยถูกออกแบบมาเพื่อรีดประสิทธิภาพสูงสุดบนฮาร์ดแวร์ Apple Silicon พร้อมเปิดให้ทดลองใช้งานเดโมแบบสแตนด์อโลนผ่านที่เก็บโค้ด pplx-garden บน GitHub แล้ว
เนื่องจากไฟล์เช็คพอยต์แบบควอนไทเซชัน 4-bit มีขนาดถึง 19.4 GB ระบบจึงต้องการเครื่อง Mac ที่มีหน่วยความจำรวม (Unified Memory) ตั้งแต่ 32 GB ขึ้นไปจึงจะทำงานได้อย่างราบรื่น ในขณะที่ผลิตภัณฑ์ Hybrid Compute ของ Perplexity ระบุความต้องการขั้นต่ำไว้ที่ macOS 15 ขึ้นไป โดยมีแรม 24 GB เป็นขั้นต่ำและแนะนำที่ 32 GB เพื่อผลลัพธ์ที่ดีที่สุด
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
แม้ว่าสแต็กเริ่มต้นบน Mac จะนิยมใช้ MLX และ MLX-LM ซึ่งรองรับการทำงานของ Qwen อยู่แล้ว แต่ Lily ได้เลือกสละความยืดหยุ่นข้ามสถาปัตยกรรมเพื่อนำโครงสร้างโมเดล แผนการทำงาน และการเลือกเคอร์เนลมารวมไว้ในรันไทม์เดียว ซึ่งช่วยลดขั้นตอนการทำงานซ้ำซ้อนและเร่งความเร็วในการประมวลผลได้อย่างก้าวกระโดด
โมเดล Qwen3.6-35B-A3B มีพารามิเตอร์รวม 35,000 ล้านตัวและทำงานจริงประมาณ 3,000 ล้านตัวต่อโทเค็น ใช้การผสมผสานระหว่างเลเยอร์ Full-Attention 10 เลเยอร์ และเลเยอร์ Gated DeltaNet อีก 30 เลเยอร์ โดยใช้การควอนไทเซชันแบบ groupwise affine 4-bit ซึ่งช่วยบีบอัดน้ำหนักจาก 70 GB ลงเหลือ 19.4 GB และทำการแปลงกลับเป็น bfloat16 แบบทีละไทต์ภายในหน่วยความจำของเธรดกลุ่ม (Threadgroup Memory) โดยไม่ออกไปสู่แรมหลัก
การพัฒนาเอ็นจิ้นเฉพาะทางอย่าง Lily สะท้อนให้เห็นถึงแนวโน้มการรีดประสิทธิภาพฮาร์ดแวร์เฉพาะกิจ (Domain-Specific Runtime) เช่น Apple Silicon ที่มีสถาปัตยกรรมหน่วยความจำรวม (Unified Memory) การจัดการหน่วยความจำแคชและลดการส่งข้อมูลข้ามบัสระหว่าง CPU กับ GPU จึงเป็นหัวใจสำคัญในการเพิ่มความเร็วให้กับโมเดลตระกูล Mixture of Experts (MoE)
จากการทดสอบบนชิป M5 Max แบบ 40 คอร์ แรม 128 GB ที่แบตช์ขนาด 1 เมื่อเทียบกับ MLX-LM พบว่า Lily สามารถทำความเร็วพรีฟิลล์เฉลี่ยได้ 4,156 โทเค็นต่อวินาที (เทียบกับ 3,388 ของ MLX-LM หรือเร็วกว่า 1.23 เท่า) และทำความเร็วในการดีโค้ดได้ 170.0 โทเค็นต่อวินาที (เทียบกับ 126.4 หรือเร็วกว่า 1.35 เท่า) พร้อมทั้งให้ค่าความงุนงง (Perplexity) ต่างกันเพียง 0.04% เท่านั้น
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น