Xiaomi เปิดตัว PROVE ชุดเครื่องมือประเมินการลบวัตถุตลอดจนวิดีโอด้วย AI
Xiaomi MiLM Plus ปล่อย PROVE เครื่องมือโอเพนซอร์ส Apache 2.0 พร้อมตัววัดเชิงพื้นที่ RC-S และเชิงเวลา RC-T บนวิดีโอจริง
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Xiaomi เปิดตัว PROVE เป็นชุดประเมินผลการลบวัตถุในวิดีโอ ไม่ใช่ฟีเจอร์สินค้า
- ใช้ตัววัด 2 แบบ ได้แก่ RC-S สำหรับพื้นที่ และ RC-T สำหรับเวลา
- รองรับไลบรารี PyTorch 2.6+, Python 3.10+, และ Transformers 4.51+
- มาพร้อมชุดข้อมูล PROVE-M 80 คลิป และ PROVE-H อีก 100 คลิปท้าทาย
ทีมวิจัย Xiaomi MiLM Plus ได้ปล่อยชุดเครื่องมือประเมินผลการลบวัตถุในวิดีโอที่มีชื่อว่า PROVE เผยแพร่ในรูปแบบคลังโค้ด PyTorch ภายใต้ไลเซนส์ Apache 2.0 โดยมาพร้อมจุดเข้าใช้งานผ่านคำสั่งบรรทัดเดียวอย่าง run_prove_metrics.py ระบบนี้มีความต้องการพื้นฐานประกอบด้วย Python 3.10 ขึ้นไป, PyTorch 2.6 ขึ้นไป, Transformers 4.51 ขึ้นไป และน้ำหนักโมเดล DINOv2-giant นอกจากนี้จำเป็นต้องใช้ไฟล์หน้ากากหรือ Masks โดยกำหนดให้พิกเซลสีขาวเป็นจุดที่ระบุวัตถุที่ถูกลบออกไป
งานวิจัยชี้ว่าการลบวัตถุในวิดีโอนั้นเป็นโจทย์ที่ซับซ้อนและให้ผลลัพธ์ได้หลายแบบ (one-to-many) เนื่องจากมีวิธีเติมเต็มพื้นที่ว่างที่ดูสมจริงได้หลายรูปแบบสำหรับรูโหว่เดียวกัน ทำให้ไม่มีคำตอบที่เป็นค่าความจริงแท้เพียงหนึ่งเดียว (ground truth) เสมอไป ทางออกของ PROVE จึงมุ่งเน้นไปที่การจับคู่การกระจายตัวเฉพาะจุดในพื้นที่ฟีเจอร์เชิงลึก (deep feature space) แทนที่จะเป็นการรวมกลุ่มในระดับภาพรวมทั้งหมด
การประเมินผลวิดีโอที่ผ่านการลบวัตถุถือเป็นหนึ่งในโจทย์ที่ยากที่สุดในคอมพิวเตอร์วิทัศน์ (Computer Vision) เนื่องจากมนุษย์มีความละเอียดอ่อนสูงต่อความผิดเพี้ยนของเงา การเคลื่อนไหว และความต่อเนื่องของฉากหลัง เครื่องมืออย่าง PROVE จึงเข้ามาช่วยสร้างมาตรฐานกลางให้นักพัฒนาสามารถเปรียบเทียบประสิทธิภาพของโมเดล Generative AI ได้อย่างแม่นยำยิ่งขึ้นโดยอิงจากโครงสร้างทางคณิตศาสตร์ที่ตรวจสอบได้
ระบบของ PROVE แบ่งออกเป็นสองตัววัดหลักที่มีแนวคิดพื้นฐานร่วมกัน ดังนี้:
- RC-S (เชิงพื้นที่): ใช้การวิเคราะห์องค์ประกอบที่เชื่อมต่อกันเพื่อแบ่งหน้ากากออกเป็นเป้าหมายอิสระ กรอบขอบเขตแต่ละอันจะถูกขยายออกหนึ่งในสามของความยาวด้าน แล้วนำส่วนที่ครอบตัดไปป้อนเข้า DINOv2 พร้อมปรับลดความละเอียดหน้ากากลงให้เท่ากับฟีเจอร์ หน้าต่างขนาด w×w จะเลื่อนผ่านแผนที่ฟีเจอร์เพื่อคำนวณค่า Maximum Mean Discredancy แบบกำลังสองด้วยเคอร์เนล Gaussian RBF คะแนนจะถูกเฉลี่ยต่อเป้าหมายและเฉลี่ยข้ามเป้าหมายอีกครั้ง
- RC-T (เชิงเวลา): เฟรมที่อยู่ติดกันจะถูกครอบตัดร่วมกันภายใต้ union ของหน้ากากเพื่อป้องกันปัญหาความเหลื่อมล้ำ จากนั้นจะคำนวณค่า MMD เฉพาะในส่วนจุดตัดที่เป็นบริเวณซึ่งได้รับการฟื้นฟูในทั้งสองเฟรม ผลการทดสอบ ablation ยืนยันว่าการเอาส่วนการครอบตัดออกจะทำให้ RC-T ไม่สามารถตรวจจับความเสียหายที่ถูกจงใจใส่เข้ามาได้
ผลการทดสอบเชิงลึกระบุว่า DINOv2 ทำคะแนนเฉลี่ย $ au$ ได้ 0.59 ซึ่งเหนือกว่า DINOv3 ที่ทำได้ 0.51 และ SAM ที่ 0.44 การตัดหน้าต่างเลื่อนออกทำให้คะแนนลดลง 0.11 ขณะที่การเปลี่ยนจาก MMD ไปใช้ cosine ทำให้คะแนนลดลง 0.07 นอกจากนี้ RC-S ยังเป็นตัววัดเชิงพื้นที่ที่มีต้นทุนต่ำที่สุดในการทดสอบ โดยมีความเร็วสูงกว่า CFD ถึง 13.7 เท่า
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในส่วนของชุดข้อมูลอ้างอิง PROVE ประกอบด้วย PROVE-M จำนวน 80 วิดีโอคู่ ที่บันทึกด้วยขาตั้งกล้องและฟุตเทจที่ไม่มีเป้าหมายภายในสองนาที พร้อมการปรับปรุงหน้ากาก SAM3 แบบทีละเฟรม ควบคุมคุณภาพสามขั้นตอน และการเพิ่มการเคลื่อนไหวแบบ Ken Burns แต่ละคลิปมีความยาว 81 เฟรมที่ความละเอียด 1080p นอกจากนี้ยังมี PROVE-H อีก 100 วิดีโอที่มีความซับซ้อนสูงไม่มี ground truth เช่น ฝูงชน สายน้ำไหล เปลวไฟ พื้นผิวที่มีลวดลาย เงาสะท้อนจากแอ่งน้ำหลายแห่ง และการเคลื่อนไหวรวดเร็ว โดยจงใจใช้หน้ากาก SAM3 แบบไม่ผ่านการกลั่นกรอง
สำหรับกระดานผู้นำสาธารณะ (public leaderboard) ในปัจจุบัน พบว่า SVOR ขนาด 1.3B ครองอันดับผู้นำในหมวดตัววัด RC-S รวมที่คะแนน 0.5197 ขณะที่ EffectErase ขึ้นนำในหมวด RC-T ที่คะแนน 0.2525
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น