Pokee AI เปิดตัวโมเดล Pokee-Isaac 28B รองรับบริบท 10 ล้านโทเค็น
โมเดลเอเจนต์ขนาด 28B จาก Pokee AI ชูจุดเด่นรองรับบริบท 10 ล้านโทเค็น พร้อมใช้งานภายในระบบลูกค้าและการประมวลผลบนอุปกรณ์ฮาร์ดแวร์
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Pokee AI เปิดตัวโมเดล Pokee-Isaac ขนาด 28 พารามิเตอร์
- รองรับขอบเขตบริบทระดับ 10 ล้านโทเค็นอย่างแม่นยำ
- เปิดให้ใช้งานผ่าน API และสิทธิ์อนุญาตสำหรับติดตั้งใน VPC หรือ On-Premises
- ทำคะแนนทดสอบประสิทธิภาพเหนือกว่าคู่แข่งในเกณฑ์มาตรฐานหลัก
วงการปัญญาประดิษฐ์ต้อนรับการมาของ Pokee-Isaac 28B โมเดลเอเจนต์ระดับแอดวานซ์จาก Pokee AI ซึ่งมาพร้อมความสามารถในการประมวลผลบริบทขนาดยักษ์ถึง 10 ล้านโทเค็น โดยโมเดลนี้เปิดให้บริการในรูปแบบโมเดลที่มีการให้สิทธิ์การใช้งาน (licensed) ผ่าน API สำหรับนักพัฒนาที่รองรับมาตรฐานเดียวกับ OpenAI รวมถึงเปิดให้ติดตั้งใช้งานได้โดยตรงภายในระบบคลาวด์ส่วนตัวเสมือน (VPC) ระบบภายในองค์กร (on-premises) หรือแม้แต่บนอุปกรณ์ฮาร์ดแวร์พกพา
ในด้านการสนับสนุนโครงสร้างพื้นฐาน การประกาศเปิดตัวระบุถึงการรองรับระบบ vLLM และ SGLang ตั้งแต่วันแรก (Day-0 support) พร้อมความสามารถในการให้บริการผ่านจีพียูเดี่ยวเริ่มต้นตั้งแต่การ์ดจอ RTX 4090 หรือรุ่นเทียบเท่า อย่างไรก็ตาม ทีมวิจัยได้เผยแพร่ผลการวัดประสิทธิภาพจากจีพียูระดับ B200 เท่านั้น ทำให้ตัวเลขฝั่งจีพียูสำหรับผู้บริโภคทั่วไปเป็นข้อมูลคำแนะนำจากผู้พัฒนามากกว่าผลการทดสอบจริงที่ยืนยันแล้ว
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
สำหรับการทดสอบประสิทธิภาพเชิงลึกบนเกณฑ์มาตรฐานต่างๆ โมเดล Pokee-Isaac ทำผลงานได้อย่างโดดเด่น โดยอ้างอิงจากชุดทดสอบ RULER ตัวโมเดลสามารถรักษาความแม่นยำไว้ได้เหนือระดับ 93.3% ในทุกความยาวที่ทดสอบ และปิดท้ายที่ 93.3% ที่ความยาว 10 ล้านโทเค็น ในขณะที่โมเดลอย่าง GPT-5.6 Luna และ Gemini 3.5 Flash Lite สามารถรักษาผลงานได้ถึงระดับ 512K ก่อนจะพบปัญหาความจุบริบทล้น (context-overflow) ที่ระดับ 1M
ยิ่งไปกว่านั้น ในการทดสอบ MRCR v2 แบบใช้เข็มทิ่ม 8 เล่ม (8 needles) โมเดล Isaac ทำคะแนนได้ 0.607, 0.743 และ 0.500 ที่ระดับความยาว 256K, 512K และ 1M ตามลำดับ โดยมีระยะห่างด้านคะแนนที่เหนือกว่าคู่แข่งอย่าง Gemini เพิ่มสูงขึ้นจาก 0.133 เป็น 0.295 ตลอดช่วงการทดสอบดังกล่าว ส่วนผลการทดสอบการโจมตีแบบ Red-Teaming ผ่าน DTAP บันทึกอัตราความสำเร็จของการโจมตีโดยตรงได้ 35.0 ทางอ้อม 35.2 และแบบผสมที่ 35.6 พร้อมด้วยอัตราความสำเร็จในเคสปกติที่ 82.5% แม้ว่าการเปรียบเทียบนี้จะมีความต่างในส่วนของชุดเครื่องมือที่ใช้รันระหว่างรุ่นมาตรฐานและชุดเครื่องมือของ Pokee เองก็ตาม
การที่โมเดลปัญญาประดิษฐ์สามารถรองรับบริบทขนาดยักษ์ระดับ 10 ล้านโทเค็นภายในขอบเขตข้อมูลของลูกค้า (Customer Boundary) ถือเป็นก้าวสำคัญด้านความปลอดภัยและความเป็นส่วนตัวของข้อมูลองค์กร การนำโมเดลไปรันบนฮาร์ดแวร์ภายในองค์กรหรือบนอุปกรณ์ (On-Device) ช่วยลดความเสี่ยงในการรั่วไหลของข้อมูลละเอียดอ่อนที่ต้องส่งไปยังเซิร์ฟเวอร์ภายนอก เหมาะสำหรับอุตสาหกรรมที่มีข้อบังคับด้านกฎหมายความคุ้มครองข้อมูลที่เข้มงวด เช่น การเงินและการแพทย์
ด้านสมรรถนะการทำงานบนจีพียูระดับ B200 ภายใต้เวิร์กโหลด RULER พบว่าเวลาในการตอบสนองคำขอแรก (TTFT) อยู่ที่ 23.6 วินาทีที่ความยาว 1M และ 72.9 วินาทีที่ความยาว 10M ในขณะที่ความเร็วในการประมวลผลข้อความล่วงหน้า (Prefill throughput) เพิ่มขึ้นตามขนาดบริบทจาก 42,400 ไปจนถึง 137,200 โทเค็นต่อวินาที ส่งผลให้พรอมต์ที่มีความยาวเพิ่มขึ้นสิบเท่ามีต้นทุนด้านเวลา TTFT เพิ่มขึ้นเพียงประมาณสามเท่าเท่านั้น
สำหรับอัตราค่าบริการตามรายการระบุไว้ที่ 0.15 ดอลลาร์สหรัฐต่ออินพุตหนึ่งล้านโทเค็น และ 1.00 ดอลลาร์สหรัฐต่อเอาต์พุตหนึ่งล้านโทเค็น ซึ่งยังคงเป็นการประเมินในเบื้องต้น นอกจากนี้ โมเดล Isaac ยังสามารถทำงานได้แบบเต็มรูปแบบบนอุปกรณ์ (On-Device) ผ่านชิปประมวลผลอย่าง Intel Arc Pro B70, Core Ultra Series 3 (Panther Lake) และ Qualcomm Snapdragon X2 Elite
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น