ElevenLabs เปิดตัว Dubbing v2 ระบบพากย์เสียง AI รองรับกว่า 90 ภาษา

ElevenLabs ได้ประกาศเปิดตัว Dubbing v2 ซึ่งเป็นการอัปเดตเทคโนโลยีการพากย์เสียงด้วยปัญญาประดิษฐ์ โดยรองรับมากกว่า 90 ภาษาและสำเนียง พร้อมทั้งมุ่งเน้นการรักษาโทนเสียง จังหวะการพูด และอารมณ์ความรู้สึกของผู้พูดต้นฉบับเอาไว้ หัวใจสำคัญของการอัปเดตครั้งนี้คือระบบแปลภาษาที่รับรู้การซิงค์ ซึ่งถูกออกแบบมาเพื่อปรับแต่งคำพูดให้มีความเป็นธรรมชาติในการพูดจริง โดยยังคงความสอดคล้องกับเสียงต้นฉบับได้อย่างแม่นยำ

สำหรับการแปลภาษาสำหรับวิดีโอทั่วโลก การผสมผสานนี้ช่วยแก้ปัญหาข้อจำกัดทางปฏิบัติที่กระบวนการพากย์เสียงต้องเผชิญมาโดยตลอด การแปลอาจมีความถูกต้องตามหลักภาษา แต่อาจฟังดูไม่เป็นธรรมชาติเมื่อเปล่งเสียงออกมา หรืออาจมีความยาวเกินไปหรือสั้นเกินไปสำหรับฉากต้นฉบับ Dubbing v2 จึงถูกสร้างขึ้นมาเพื่อจัดการกับปัญหาทั้งสองประการนี้โดยการอ้างอิงจากเสียงการแสดงผลต้นฉบับ แทนที่จะใช้เพียงแค่สคริปต์ตัวอักษรเป็นอินพุตหลัก

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

ตามประกาศอย่างเป็นทางการของ ElevenLabs ระบบนี้จะทำการซิงค์จุดเริ่มต้น จุดสิ้นสุด และจังหวะให้เข้ากับเนื้อหาต้นฉบับโดยอัตโนมัติ ทางบริษัทวางตำแหน่งการปล่อยตัวนี้ว่าเป็นวิธีรักษาบุคลิกภาพของผู้พูดข้ามภาษา มากกว่าการสร้างแทร็กเสียงที่แปลออกมาเฉยๆ ความแตกต่างที่สำคัญในคำอธิบายของ ElevenLabs คือการประมวลผลตามประสิทธิภาพของเสียงเดิม แทนที่จะทำงานจากบทพูดที่เป็นลายลักษณ์อักษรเท่านั้น Dubbing v2 ใช้คุณลักษณะของการส่งเสียงต้นฉบับมาช่วยกำหนดเสียงพากย์ที่สร้างขึ้น