Fly Language Model (FLM): นำโครงข่ายสมองแมลงวันเชื่อมต่อ LLM

วงการปัญญาประดิษฐ์ได้เห็นการทดลองที่น่าสนใจเมื่อนักพัฒนาเปิดตัว Fly Language Model หรือ FLM ซึ่งเป็นการนำโครงข่ายการเชื่อมต่อของสมองแมลงวันทั้งหมดมาผสานเข้ากับโมเดลภาษาขนาดใหญ่ที่ถูกแช่แข็งไว้น้ำหนัก (frozen LLM) โครงงานนี้เปิดให้ใช้งานได้แบบโลคัลผ่านคลังโค้ด nftechie/flm บน GitHub ภายใต้สัญญาอนุญาต MIT โดยรองรับการทำงานบน Python 3.12 ทั้งระบบ macOS และ Linux ผ่านฮาร์ดแวร์ MPS, CUDA หรือหน่วยประมวลผลกลางอย่าง CPU โดยไม่ต้องใช้ API key แต่อย่างใด

สถาปัตยกรรมภายในของระบบนี้ใช้แนว reservoir computing เชื่อมต่อเข้ากับโมเดลภาษา โดยดึงกราฟโครงข่ายสมองของแมลงวันเพศผู้หรือ MaleCNS มาใช้ทั้งหมด ซึ่งประกอบด้วยโหนดที่ถูกเก็บรักษาไว้ 166,700 โหนด และเส้นเชื่อมทิศทางเดียวจำนวน 25,582,938 เส้น ทั้งโครงกราฟ โครงสร้างหลัก รวมถึงโปรเจกชันอินพุตและเอาต์พุตแบบสุ่มถูกตรึงเอาไว้ทั้งหมด มีเพียงส่วนตัวอ่านผลขนาด 278,528 พารามิเตอร์เท่านั้นที่ถูกนำมาฝึกฝน ซึ่งคิดเป็นสัดส่วนเพียงประมาณ 0.0238% ของพารามิเตอร์โครงสร้างหลักทั้งหมด 1,170,340,608 พารามิเตอร์

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

ในกระบวนการทำงาน ทุกๆ โทเค็นจะถูกบีบอัดมิติด้วยระบบ Gaussian projection จาก 2,048 มิติเหลือ 128 แชนแนล โดยโหนดในเรเซอร์วัวร์แต่ละตัวจะรับสัญญาณหนึ่งแชนแนลพร้อมเครื่องหมายสุ่ม จากนั้นกราฟทั้งหมดจะอัปเดตสถานะด้วยสมการทางคณิตศาสตร์ และส่งผ่านเมทริกซ์อคติก่อนจะฉายผลลัพธ์ผ่านส่วนหัวคำศัพท์ที่ถูกแช่แข็งไว้ในรูปของเรสิดิวที่จำกัดค่า RMS ไว้ที่ไม่เกิน 0.25 ทั่วพิกัดคำศัพท์

การประเมินประสิทธิภาพบนชุดสนทนาประจำวัน SmolTalk จำนวน 32 ชุด ที่ถูกแช่แข็งไว้ใหม่ (คิดเป็น 1,236 เป้าหมายโทเค็น) ผ่านเมล็ดพันธุ์การทดลอง 3 ชุด พบว่าส่วนอ่านผลแบบแมลงวันช่วยพัฒนาค่าเพอร์เพล็กซิตี้จาก 3.98 ไปอยู่ที่ 3.90 หรือดีขึ้น 0.0222 nats ต่อโทเค็น อย่างไรก็ตาม ชุดควบคุมที่ใช้การป้อนข้อมูลโดยตรง (direct-input control) ซึ่งส่งโปรเจกชัน 128 แชนแนลเดียวกันตรงไปยังส่วนอ่านผลโดยไม่มีกราฟสมองแมลงวัน กลับทำผลงานได้ดีกว่าในทุกๆ เมล็ดพันธุ์ด้วยซ้ำ โดยดีกว่า 0.000488 nats ต่อโทเค็น