CetinLM 3.8B: โมเดลภาษาปัญญาประดิษฐ์ฝึกบนการ์ดจอเดี่ยว

วงการปัญญาประดิษฐ์ต้องสะเทือนเมื่อกำแพงเงินทุนมหาศาลถูกทำลายลงในห้องทำงานส่วนตัว โดย Mert Çetin นักวิจัยอิสระจาก Me Force Technology สามารถผลักดันโมเดลภาษาพื้นฐาน CetinLM Base-v1 ขนาด 1.18 พันล้านพารามิเตอร์ ให้ผ่านหลัก 3.8 พันล้านโทเค็นได้สำเร็จ โดยใช้เพียงการ์ดจอเดสก์ท็อปสำหรับผู้บริโภคทั่วไปรุ่น RTX 4070 Ti SUPER ในการฝึกตั้งแต่เริ่มต้น

ความก้าวหน้านี้ท้าทายกฎการลดลงของสเกลมาตรฐานอย่างชัดเจน ตัวเลขการตรวจสอบความถูกต้องแสดงให้เห็นเส้นกราฟดิ่งลงอย่างไร้รอยต่อ โดยในช่วง 3.60 พันล้านโทเค็น ค่า Validation Loss อยู่ที่ 2.592976 และลดลงเหลือ 2.577079 เมื่อถึง 3.80 พันล้านโทเค็น ซึ่งห่างกันเพียง 200 ล้านโทเค็นเท่านั้นโดยไม่มีทีท่าว่าจะเกิดอาการนิ่งนอนใจหรือระบบฝึกสะดุดแต่อย่างใด

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

ค่ายเทคโนโลยียักษ์ใหญ่เคยผูกขาดการแข่งขันผ่านสิ่งที่เรียกว่า Benchmark Theatre ด้วยการแอบป้อนข้อสอบเข้าในชุดข้อมูลฝึกนับล้านล้านโทเค็นเพื่อโฆษณาตัวเลขที่สวยหรูบนสไลด์นำเสนอ แต่ CetinLM ได้พลิกโฉมหน้าตารางด้วยการเปิดตัว Local Web UI ที่รันบน localhost (127.0.0.1) แบบใช้งานได้จริงและมีความหน่วงเป็นศูนย์ ทำความเร็วได้สูงถึงประมาณ 48 โทเค็นต่อวินาที

ผลลัพธ์พฤติกรรมจากโมเดลฐานดิบที่ยังไม่ได้ผ่านการปรับแต่ง SFT หรือการจัดแนวใดๆ สร้างความประหลาดใจให้กับสถาปนิกพัฒนาระบบเป็นอย่างมาก เมื่อป้อนคำถามทางคณิตศาสตร์อย่าง "2+2 เท่ากับเท่าไร" โมเดลไม่ได้พ่นเสียงรบกวนจากอินเทอร์เน็ตออกมา แต่กลับประเมินความเท่าเทียมกันแล้วย้อนถามกลับด้วยประโยคโวหารเชิงตรรกะว่า "3+1 เท่ากับเท่าไร" แทน