Google เปิดตัวระบบความเข้าใจวิดีโอแบบ Agentic สำหรับโมเดล Gemini Flash ลด Token สูงสุด 88%
Google เปิดตัวฟีเจอร์ agentic video understanding สำหรับโมเดล Gemini Flash ช่วยลด Token ได้สูงสุด 88% และลดต้นทุนลง 66%
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Google เปิดตัวฟีเจอร์ agentic video understanding สำหรับตระกูลโมเดล Gemini Flash
- ช่วยลดการใช้ Token ได้สูงสุด 88% ลดต้นทุนลง 66% และเพิ่มความแม่นยำขึ้น 7%
- ให้บริการผ่าน Gemini API ใน Google AI Studio และ Gemini Enterprise Agent Platform เท่านั้น
- ระบบจะนำทางและเลือกโหลดเฉพาะส่วนที่จำเป็น แทนการประมวลผลวิดีโอแบบเดิมที่ความเร็ว 1 FPS
Google ได้ประกาศเปิดตัวความสามารถด้านการทำความเข้าใจวิดีโอแบบ agentic สำหรับกลุ่มโมเดล Flash โดยเปลี่ยนวิธีที่ AI จัดการกับไฟล์วิดีโอ จากเดิมที่ต้องอ่านข้อมูลทั้งไทม์ไลน์ มาเป็นการปล่อยให้โมเดล Gemini ทำหน้าที่นำทาง เลือกชมเฉพาะส่วนที่ต้องการ ในอัตราเฟรมเรตและผ่านช่องทางที่เหมาะสมด้วยตัวเอง ซึ่งความเปลี่ยนแปลงนี้ช่วยให้การวิเคราะห์วิดีโอมีความฉลาดและยืดหยุ่นมากขึ้นอย่างเห็นได้ชัด
ในแง่ของประสิทธิภาพ Google รายงานตัวเลขจากการประเมินว่า เทคโนโลยีใหม่นี้สามารถลดจำนวน Token ลงได้สูงสุดถึง 88% ลดต้นทุนการใช้งานลง 66% และยังช่วยเพิ่มความแม่นยำบนเกณฑ์มาตรฐานวิดีโอมาตรฐานได้สูงขึ้นถึง 7% โดยจุดเด่นด้านความคุ้มค่านี้จะเห็นผลอย่างเด่นชัดที่สุดเมื่อนำไปใช้กับเนื้อหาวิดีทยอยาวๆ เช่น คลิปคู่มือความยาว 10 นาที ไปจนถึงบันทึกการประชุมหลายชั่วโมง
สำหรับการใช้งานจริง ระบบนี้เปิดให้ใช้งานในรูปแบบฟีเจอร์บน Hosted API เท่านั้น โดยยังไม่มีการเปิดโอเพนซอร์สหรือเปิดให้โฮสต์ด้วยตัวเอง นักพัฒนาสามารถเข้าถึงได้ผ่าน Gemini API บน Google AI Studio และแพลตฟอร์ม Gemini Enterprise Agent Platform รองรับทั้งการอัปโหลดไฟล์โดยตรงและลิงก์สาธารณะจาก YouTube โดยคิดค่าบริการตามเรท Token ปกติของ Gemini API โดยไม่มีค่าธรรมเนียมฟีเจอร์เพิ่มเติม
วิถีการทำงานแบบเดิมที่เรียกว่า Static processing จะดึงเฟรมภาพที่ 1 FPS ในรอบเดียว ประมวลผลเสียงแบบ 1 Kbps ช่องสัญญาณเดี่ยว และแทรก Timestamp ทุกวินาที แต่กระบวนการแบบ Agentic จะเปลี่ยนเป็นระบบลูป (loop) ที่ให้โมเดลจับคู่การให้เหตุผลเข้ากับเครื่องมือวิดีโอ เพื่อค้นหา สแกน และตรวจสอบส่วนที่ต้องการผ่านทั้งเฟรมภาพ เสียง และทรานสคริปต์ โดยโหลดเฉพาะข้อมูลที่ Prompt ต้องการเท่านั้น
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
การเปลี่ยนผ่านจากการประมวลผลวิดีโอแบบ Static มาเป็น Agentic ถือเป็นก้าวสำคัญที่ช่วยแก้ปัญหาคอขวดด้านต้นทุนและข้อจำกัดของ Context Window ในงาน AI วิดีโอขนาดใหญ่ เนื่องจากวิดีโอความยาวเพียงไม่กี่นาทีหากแปลงเป็น Token จะมีขนาดมหาศาล การที่โมเดลสามารถตัดสินใจได้เองว่าจะดูส่วนไหนและข้ามส่วนไหน คล้ายกับการที่มนุษย์กดข้ามไปยังนาทีที่ต้องการ จะช่วยเพิ่มความคุ้มค่าเชิงทรัพยากรได้อย่างมหาศาลโดยสูญเสียความแม่นยำน้อยมากหรือแทบไม่เสียเลย
ทางด้านการบันทึกข้อมูลและการคิดค่าใช้จ่าย ระบบจะแบ่งการนับ Token ออกเป็น 2 ส่วน ได้แก่ การใช้เหตุผลเพื่อนำทาง (Navigation reasoning) ที่ถูกคิดเงินเป็น thought tokens และข้อมูลเฟรมภาพ เสียง หรือทรานสคริปต์ที่ถูกเรียกโหลดตามความต้องการ ซึ่งคิดเงินเป็น tool-use tokens นอกจากนี้ กระบวนการแบบ Agentic ยังเพิ่มสเตปใหม่เข้าไปในอาเรย์การตอบกลับ ได้แก่ processing_call และ processing_result ซึ่งทำให้นักพัฒนาสามารถนำไปสร้างหน้าจอแสดงความคืบหน้าแบบเรียลไทม์ใน UI ของตนเองได้
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น