Nous Research เปิดตัว Hermes Desktop ติดตั้งโมเดลโลคัลในคลิกเดียว
Nous Research อัปเดต Hermes Desktop เพิ่มฟีเจอร์ติดตั้งโมเดล AI ในเครื่องแบบคลิกเดียว ตรวจสอบสเปกฮาร์ดแวร์ เลือกขนาดที่เหมาะสม และจัดการรันไทม์อัตโนมัติ
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Hermes Desktop เป็นซอฟต์แวร์โอเพนซอร์สสัญญาอนุญาต MIT ใช้งานได้ฟรี
- ระบบติดตั้งโมเดลโลคัลได้ด้วยคลิกเดียว อ่านสเปกและดาวน์โหลดอัตโนมัติ
- ประเมินความเข้ากันได้ของหน่วยความจำด้วยระบบสีเขียว เหลือง และแดง
- กำหนดขีดจำกัดล่างที่ระดับ 4-bit เพื่อป้องกันคุณภาพตกต่ำเกินไป
Nous Research ได้ประกาศอัปเดต Hermes Desktop ซึ่งเป็นโปรแกรมเดสก์ท็อปโอเพนซอร์สสำหรับใช้งาน Hermes Agent โดยเพิ่มความสามารถใหม่ในการติดตั้งโมเดลปัญญาประดิษฐ์แบบรันบนเครื่องคอมพิวเตอร์ส่วนบุคคล (Local Model) ได้ด้วยการคลิกเพียงครั้งเดียว ซอฟต์แวร์ตัวนี้พัฒนาขึ้นภายใต้สัญญาอนุญาตแบบ MIT เปิดให้ใช้งานได้ฟรี รองรับระบบปฏิบัติการหลากหลายทั้ง macOS 12 ขึ้นไป, Windows 10 และ 11 รวมถึงลินุกซ์ทุกดิสทริบิวชัน โดยผู้ใช้งานไม่ต้องสมัครบัญชีใดๆ ทั้งสิ้นหากใช้งานกับโมเดลในเครื่อง
กระบวนการทำงานใหม่นี้จะเริ่มต้นขึ้นโดยอัตโนมัติเมื่อเปิดใช้งานโปรแกรมเป็นครั้งแรก หรือสามารถเข้าไปใช้งานได้ผ่านเมนูการตั้งค่าที่ Settings ไปยัง Providers และเลือก Local Models ระบบจะทำการตรวจสอบฮาร์ดแวร์ในเครื่อง เลือกโมเดลที่เหมาะสม ทำการดาวน์โหลด และตั้งค่ารันไทม์ให้เสร็จสรรพในขั้นตอนเดียว
การนำโมเดลภาษาขนาดใหญ่ (LLM) มาใช้งานบนเครื่องคอมพิวเตอร์ส่วนบุคคลหรือ Local Setup กำลังกลายเป็นเทรนด์สำคัญที่ช่วยปกป้องความเป็นส่วนตัวของผู้ใช้และลดต้นทุนการเรียกใช้ผ่านคลาวด์ แต่ความท้าทายหลักคือความซับซ้อนในการตั้งค่าเอ็นจิ้นการประมวลผลและการจัดการหน่วยความจำ VRAM การที่เครื่องมืออย่าง Hermes Desktop เข้ามาจัดการกระบวนการตั้งแต่การเลือกสเปกไปจนถึงการดาวน์โหลด llama.cpp แบบอัตโนมัติ ถือเป็นก้าวสำคัญที่ช่วยลดอุปสรรคทางเทคนิคสำหรับนักพัฒนาและผู้ใช้งานทั่วไป
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในส่วนของการจัดการเบื้องหลัง Hermes จะทำหน้าที่ดูแลอินเฟอเรนซ์เอ็นจิ้นด้วยตัวเอง โดยระบบจะดึงไฟล์ llama.cpp เวอร์ชันที่เป็นทางการซึ่งตรงกับสเปกฮาร์ดแวร์ของผู้ใช้ที่มีขนาดเพียงไม่กี่ร้อยเมกะไบต์ พร้อมทั้งตรวจสอบความถูกต้องและอัปเดตให้ใหม่อยู่เสมอ โดยแบ็กเอนด์ที่รองรับครอบคลุมทั้ง CUDA, Metal, Vulkan, HIP และซีพียูทั่วไป
รายการโมเดลทั้งหมดในแคตตาล็อกจะถูกนำมาประเมินเทียบกับเครื่องคอมพิวเตอร์ของผู้ใช้ก่อนที่จะทำการดาวน์โหลด โดยแต่ละรายการจะมีสถานะการรองรับหน่วยความจำแสดงด้วยสีที่ชัดเจน ได้แก่ สีเขียวหมายถึงรันในหน่วยความจำ GPU ได้ทั้งหมด สีเหลืองหมายถึงต้องแบ่งไปใช้แรมของระบบซึ่งจะทำให้ทำงานช้าลง และสีแดงหมายถึงโมเดลมีขนาดใหญ่เกินกว่าที่เครื่องจะรองรับ พร้อมทั้งแสดงขนาดหน้าต่างบริบททั้งเริ่มต้นและสูงสุดรวมถึงขนาดไฟล์ดาวน์โหลด
สำหรับกฎการเลือกความละเอียด (Quantization) ระบบจะเลือกบิลด์ที่มีคุณภาพสูงที่สุดซึ่งสามารถรันบน GPU ได้เต็มรูปแบบ โดยเครื่องที่มีหน่วยความจำน้อยกว่าจะได้รับบิลด์ที่มีขนาดกะทัดรัดกว่าของโมเดลเดียวกัน ทั้งนี้มีการกำหนดขีดจำกัดขั้นต่ำไว้ที่ 4-bit หากเครื่องใดไม่สามารถรันขนาด 4-bit ได้โดยไม่ต้องดึงแรมระบบ จะไม่สามารถรันโมเดลนั้นได้ เพื่อป้องกันการสูญเสียคุณภาพของผลลัพธ์ที่รุนแรงเกินไป
ในด้านการบริหารจัดการหน่วยความจำ Hermes ไม่เปิดให้ผู้ใช้ปรับแต่งค่าด้วยตนเอง แต่จะเริ่มต้นหน้าต่างบริบทขนาดที่พอดีกับ GPU ก่อนจะขยายเพิ่มตามการใช้งานจริง โดยทุกโมเดลที่แนะนำจะได้รับการันตีหน้าต่างบริบทอย่างน้อย 64K เสมอ ส่วนลำดับการจัดการเมื่อหน่วยความจำไม่พอ ระบบจะย้ายส่วนเกินไปไว้ในแรมของระบบโดยเรียงลำดับความสำคัญ เช่น นำน้ำหนักส่วนผู้เชี่ยวชาญ (Expert weights) ไปก่อน และจะไม่ย้ายแคชความสนใจ (Attention cache) เด็ดขาดเพื่อรักษาเสถียรภาพของบริบท นอกจากนี้โมเดลที่ไม่ได้ใช้งานจะถูกปิดการทำงานอัตโนมัติหลังจากผ่านไป 15 นาที
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น