ทำความรู้จัก Needle 2 โมเดลเรียกใช้เครื่องมือขนาด 45 ล้านพารามิเตอร์ ทำงานด้วยแรมเพียง 28MB
Cactus เปิดตัว Needle 2 โมเดล Open-source ขนาด 45M ที่มาพร้อมไฟล์ไบนารีขนาด 14MB รองรับการทำงานออฟไลน์และประหยัดทรัพยากรอย่างเหลือเชื่อ
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Needle 2 มีขนาด 45 ล้านพารามิเตอร์ และมาในรูปแบบไฟล์ไบนารีขนาด 14MB
- ใช้หน่วยความจำแรมคงที่เพียง 28MB ตลอดการสนทนาโดยไม่มีการขยายตัว
- ประมวลผลด้วยสถาปัตยกรรม Simple Attention Network และไม่มีชั้น FFN
- ทำคะแนนความแม่นยำชื่อฟังก์ชันสูงถึง 98.3 บนชุดทดสอบ Mobile Actions
วงการปัญญาประดิษฐ์ตื่นตัวอีกครั้งกับการเปิดตัว Needle 2 โมเดลปัญญาประดิษฐ์ประเภท tool-calling ขนาดกะทัดรัดจากทีมงาน Cactus โดยโมเดลนี้ถูกออกแบบมาให้สามารถแจกจ่ายในรูปแบบไบนารีสำเร็จรูปและไลบรารีแบบสถิต รองรับระบบปฏิบัติการหลากหลายไม่ว่าจะเป็น macOS, Linux ในสถาปัตยกรรม x86-64, ARM64, ARMv7, RISC-V และ MIPS32el รวมถึง Windows, Android, iOS, watchOS, tvOS และ WebAssembly นอกจากนี้ทาง Cactus ยังได้นำ Needle ไปรันจริงบนแอปพลิเคชัน Index 01 เพื่อรองรับคำสั่งเสียงแบบออฟไลน์อีกด้วย
ในด้านโครงสร้างภายใน ทีมงาน Cactus ได้พัฒนาสถาปัตยกรรมที่เรียกว่า Simple Attention Network ซึ่งเข้ามาทดแทนชั้น Feed-Forward Network (FFN) ด้วย Hadamard MLP พร้อมทั้งคงความใส่ใจแบบ GQA เพิ่มหน่วยความจำ key-value จากตาราง hashed n-gram และใช้การเชื่อมต่อแบบ multi-lane hyper-connections ตัวโมเดลมีความลึก 27 ชั้นและมีความกว้าง 512 โดยมีงานวิจัยรองรับบน arXiv ในชื่อ A Controlled Study of Attention-Only Transformers สำหรับกระบวนการ pretraining นั้นใช้ชุดข้อมูลเฉพาะตัวขนาด 115 พันล้านโทเค็น และผ่านการ post-training อีก 38 พันล้านโทเค็น ซึ่งแตกต่างจากโมเดลอื่นเช่น LFM2.5-230M ที่เคยใช้ข้อมูล pretraining สูงถึง 19 ล้านล้านโทเค็น
จุดเด่นที่สำคัญคือเรื่องของการบริหารจัดการหน่วยความจำและพลังงานในการประมวลผล โดย Needle 2 ใช้พลังงานเพียง 70 MFLOPs ต่อโทเค็น และมีพารามิเตอร์ที่ทำงานแบบ matmul-active เพียง 35 ล้านจากทั้งหมด 45 ล้านพารามิเตอร์ ในขณะที่โมเดลคู่แข่งอย่าง LFM2.5 230M ใช้ 460 MFLOPs, FunctionGemma 270M ใช้ 540 MFLOPs และ Apple FM อยู่ที่ประมาณ 6,000 MFLOPs นอกจากนี้ น้ำหนักของโมเดลจะไม่ถูกคลายบีบอัดลงในแรม แต่รหัสแบบ 2-bit จะขยายตัวภายในเวกเตอร์รีจิสเตอร์และรวมเข้ากับผลคูณดอทอินทิเจอร์ ทำให้เส้นทางการคำนวณคงความเป็น int8 ไว้ตลอดเวลา โดยระบบจะทำการตรวจสอบซีพียูเมื่อเริ่มทำงานเพื่อเลือกเคอร์เนลที่เหมาะสมที่สุด ไม่ว่าจะเป็น SDOT, NEON, AVX2, เวกเตอร์ RISC-V, wasm SIMD หรือแบบ scalar
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในการควบคุมรูปแบบการสร้างข้อความ ระบบจะใช้ไวยากรณ์ระดับไบต์ที่คอมไพล์จาก JSON schema มาจำกัดทุกโทเค็นที่ถูกสร้างขึ้น ทำให้เครื่องมือสามารถข้ามการคาดการณ์คำศัพท์ได้มากถึง 98% สำหรับโทเค็นเชิงโครงสร้างเนื่องจากตัวประเมินรู้ล่วงหน้าว่าโทเค็นใดบ้างที่ถูกต้องตามกฎ นอกจากนี้ยังมีการใช้หน้าต่างเลื่อนขนาด 256 โทเค็นสำหรับการใส่ใจ (attention) และตรึงการสนทนารวมถึงการประกาศเครื่องมือไว้เป็น KV sinks ทำให้หน่วยความจำยังคงอยู่ที่ระดับ 28MB เสมอไม่ว่าความยาวของการสนทนาจะเพิ่มขึ้นเท่าไหร่ก็ตาม
การที่โมเดลสามารถจำกัดการใช้แรมไว้ที่ 28MB และรันผ่านไฟล์ไบนารีขนาดเล็กได้ ถือเป็นก้าวสำคัญในการนำ AI ไปประยุกต์ใช้บนอุปกรณ์ Edge และอุปกรณ์สวมใส่ (Wearables) โดยไม่ต้องพึ่งพาคลาวด์ ซึ่งช่วยลดความหน่วง (Latency) และรักษาความเป็นส่วนตัวของผู้ใช้งานได้อย่างมีประสิทธิภาพสูงสุด เทคนิคการบีบอัดน้ำหนักและการจำกัดโทเค็นด้วยไวยากรณ์ถือเป็นแนวทางวิศวกรรมที่ชาญฉลาดในการรีดประสิทธิภาพสูงสุดจากฮาร์ดแวร์ที่มีข้อจำกัด
สำหรับการจัดการเครื่องมือ หากมีการประกาศเครื่องมือไม่เกินห้าตัว ระบบจะแสดงผลออกมาโดยตรง แต่ถ้าหากมีมากกว่าห้าตัว ระบบจะใช้กลไก contrastive retrieval head ฝังแต่ละสตรีม schema หนึ่งครั้ง ให้คะแนนคำถามในแต่ละรอบ และเลือกเฉพาะห้าอันดับแรกเท่านั้น ส่วนเครื่องมือที่ไม่ถูกเลือกจะไม่สามารถเข้าถึงได้เลย พร้อมกันนี้ ทุกการตอบสนองจะมาพร้อมกับค่าความเชื่อมั่น (confidence value) ซึ่งเป็นค่าน้อยที่สุดระหว่างการปรับเทียบหัวข้อหลังการประมวลผลและความน่าจะเป็นในการถอดรหัสของโทเค็นการเรียกใช้งาน หากคำขอใดนอกเหนือประเด็น ระบบจะส่งค่าการเรียกใช้ว่างเปล่ากลับไป
"Needle 2 leads both Seal-Tools splits and posts 98.3 function-name accuracy on Mobile Actions."
Cactus Team
ในแง่ของผลการทดสอบ ทีมงาน Cactus ได้ประเมินผลบนชุดทดสอบมาตรฐานการเรียกใช้ฟังก์ชันสาธารณะห้าชุด โดยใช้การจับคู่ที่เข้มงวดและเรียงลำดับ ซึ่งผลลัพธ์ปรากฏว่า Needle 2 นำเป็นอันดับหนึ่งในชุดทดสอบ Seal-Tools ทั้งสองส่วน และทำคะแนนความแม่นยำของชื่อฟังก์ชันได้สูงถึง 98.3 บน Mobile Actions แม้ว่าจะทำคะแนนได้น้อยกว่าใน BFCL v4 ซึ่งทาง Cactus ระบุว่าเป็นเพราะความแตกต่างของการกระจายข้อมูล เนื่องจากคอร์ปัสของพวกเขามุ่งเน้นไปที่การกระทำบนอุปกรณ์ของผู้บริโภคมากกว่า API ระดับองค์กรหรือทั่วไป โดยมีอัตราการสร้างผลลัพธ์ที่ถูกต้องตามรูปแบบจาก 3,641 แถวของ BFCL อยู่ที่ 93.4
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น