Alibaba เปิดตัว Qwen-Audio-3.1-Realtime โมเดลเสียงแบบฟูลดูเพล็กซ์

Alibaba ได้สร้างความตื่นเต้นให้วงการปัญญาประดิษฐ์อีกครั้งด้วยการเปิดตัวโมเดลเสียงรุ่นใหม่ล่าสุดอย่าง Qwen-Audio-3.1-Realtime ซึ่งเป็นโมเดลเสียงแบบฟูลดูเพล็กซ์ที่ได้รับการฝึกฝนให้มีความสามารถในการคิด การกระทำ และการตัดสินใจว่าจะพูดตอนไหน โดยขณะนี้เปิดให้ใช้งานในรูปแบบ Managed API ผ่านระบบ WebSocket บน QwenCloud เรียบร้อยแล้ว แม้ว่าจะยังไม่มีการประกาศเปิดโอเพ่นเวท (Open Weights) ออกมาในขณะนี้ก็ตาม

โมเดลตัวนี้รองรับข้อมูลเข้าและออกได้ทั้งในรูปแบบข้อความและเสียง โดยมีขีดจำกัดบริบทสูงถึง 262,000 โทเค็น แบ่งเป็นอินพุตสูงสุด 245,000 โทเค็น และเอาต์พุตสูงสุด 16,000 โทเค็น สำหรับข้อจำกัดเริ่มต้นอยู่ที่ 60 คำขอและ 100,000 โทเค็นต่อนาที ในด้านโครงสร้างการทำงาน ระบบนี้ใช้โมเดล 2 ตัวที่ใช้ Audio Encoder และ LLM ดีไซน์เดียวกัน ทำหน้าที่ทั้งตัดสินใจแบบฟูลดูเพล็กซ์ แปลงเสียงเป็นข้อความ และเรนเดอร์เสียงพูดสตรีมมิ่งตามบริบทการสนทนา

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

ในด้านโครงสร้างการฝึกฝน โมเดลนี้ถูกแบ่งออกเป็น 3 เลเยอร์หลัก ได้แก่ Think, Act และ Speak and Coordinate โดยใช้กระบวนการ Core-Cocktail SFT เพื่อเชื่อมโยงโมเดลเสียงเข้ากับ LLM ต้นทางด้วยข้อมูลจับคู่ระดับล้านชั่วโมง ตามด้วย Multimodality OPD และการฝึกโดเมนผู้เชี่ยวชาญเฉพาะด้านด้วยอัลกอริทึม GRPO ก่อนจะรวมเข้าด้วยกันเป็นโมเดลเดียวที่พร้อมใช้งานจริง