เจาะลึกทดลองใช้งาน AI บนเครื่องพีซี: ตื่นเต้น ปวดหัว

การใช้งานเครื่องมือปัญญาประดิษฐ์บนคลาวด์มักมาพร้อมกับความกังวลเรื่องการเปิดเผยข้อมูลส่วนบุคคล ทำให้นักรีวิวจาก The Verge ตัดสินใจก้าวเข้าสู่โลกของการรันโมเดล AI บนฮาร์ดแวร์ภายในเครื่อง เพื่อสำรวจความสามารถที่แท้จริงโดยไม่ต้องพึ่งพาเซิร์ฟเวอร์ภายนอก แม้จะต้องแลกมากับการตัดสินใจลงทุนซื้อคอมพิวเตอร์หรือแล็ปท็อปที่มีหน่วยความจำ RAM ราคาสูงก็ตาม โดยผู้เขียนยอมรับว่าตนเองไม่ใช่ผู้เชี่ยวชาญด้าน AI แต่ต้องการร่วมเดินทางเรียนรู้ไปพร้อมกับผู้อ่านเพื่อดูว่าความพยายามนี้คุ้มค่าหรือไม่

กระแสความตื่นตัวเรื่อง AI บนอุปกรณ์พกพาและเดสก์ท็อปกำลังมาแรงมากในขณะนี้ โดยเฉพาะแอปิลที่ชูจุดเด่นของ Mac รุ่นใหม่ในการประมวลผล AI ท้องถิ่น รวมถึงฝั่งวินโดวส์ที่มีเครื่อง RTX Spark พร้อมแรมสูงสุด 128GB จ่อคิววางจำหน่าย แนวคิดที่มีผู้ช่วยส่วนตัวทำงานอยู่ภายในกล่องบนโต๊ะทำงานและตอบสนองต่อเจ้าของเครื่องเพียงคนเดียว โดยไม่ต้องผ่านบริษัทผู้ให้บริการรายใหญ่อย่าง OpenAI, Google, Microsoft หรือ Anthropic จึงเป็นทางเลือกที่น่าสนใจสำหรับผู้ที่ใส่ใจเรื่องความเป็นส่วนตัว

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

ในกระบวนการทดสอบบนเครื่อง M5 Ultra Mac Studio รวมถึงระบบ Mac และ Windows อื่นๆ ผู้เขียนได้เริ่มต้นติดตั้งโมเดลภาษาขนาดใหญ่หรือ LLMs แบบโลคัล โดยเลือกใช้แอปพลิเคชันโอเพนซอร์สที่มีชื่อว่า Hermes Agent ซึ่งเป็นแอปเดสก์ท็อปที่รองรับทั้งระบบ macOS, Windows และ Linux และใช้งานได้ฟรีเมื่อรันกับโมเดลโลคัล เนื่องจากเครื่อง Mac Studio ที่ใช้มีหน่วยความจำรวมสูงถึง 256GB จึงสามารถรองรับโมเดลเกือบทุกขนาดที่มีอยู่บนโลกได้

ความท้าทายแรกที่ผู้ใช้ต้องเผชิญคือปริมาณของโมเดลที่มีอยู่มากมายมหาศาลจนยากจะนับไหว โดยโมเดลที่มีจำนวนพารามิเตอร์หลายพันล้านตัวมักมีความสามารถสูงกว่าโมเดลขนาดเล็ก และเนื่องจากการรันบนเครื่องตัวเองไม่มีค่าใช้จ่ายเรื่องโทเค็น ผู้เขียนจึงตัดสินใจเริ่มต้นด้วยโมเดลขนาดใหญ่ทันทีผ่านอินเทอร์เฟซการตั้งค่าที่ใช้งานง่ายของ Hermes