NVIDIA เปิดตัว NemotronLabs VoiceChat 11B โมเดลเสียงพูดคุยแบบสองทาง
NVIDIA ปล่อย NemotronLabs VoiceChat 11B โมเดล Open Full-Duplex Speech-to-Speech ที่ตอบสนองรวดเร็วในเวลาเพียงประมาณ 450 มิลลิวินาที รองรับการเรียกใช้เครื่องมือแบบเรียลไทม์
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- NVIDIA เปิดตัวโมเดล NemotronLabs VoiceChat 11B สำหรับการใช้งานวิจัย
- โดดเด่นด้วยความเร็วในการผลัดกันพูด (Turn-Taking) ที่ระดับ ~450 มิลลิวินาที
- สถาปัตยกรรมแบบไฮบริด Mamba/Transformer ฝึกฝนด้วยเสียงกว่า 550,000 ชั่วโมง
- ยังมีข้อจำกัดด้านความเสถียร เช่น อาจเกิดอาการพูดคนเดียวซ้ำๆ และจำกัดหน้าต่างเสียง 2 นาที
NVIDIA ได้สร้างความฮือฮาให้กับวงการปัญญาประดิษฐ์อีกครั้งด้วยการประกาศเปิดตัว NemotronLabs VoiceChat 11B ซึ่งเป็นโมเดลสั่งการด้วยเสียงแบบพูดคุยโต้ตอบสองทางพร้อมกัน (Full-Duplex Speech-to-Speech) แบบโอเพนซอร์ส โดยเปิดให้เหล่านักพัฒนาและนักวิจัยสามารถดาวน์โหลดน้ำหนักโมเดล (Weights) และคอนเทนเนอร์ไปใช้งานได้ทันทีภายใต้ permissive license แม้ว่าในเวลานี้ทางทีมงาน NVIDIA จะยังคงระบุชัดเจนว่าโมเดลตัวนี้เหมาะสำหรับการนำไปใช้เพื่อวัตถุประสงค์ด้านการวิจัยเท่านั้น และยังไม่แนะนำให้นำไปปรับใช้ในระบบจริงระดับ Production ในขณะนี้
ในด้านสถาปัตยกรรมภายใน โมเดล VoiceChat 11B ถูกสร้างขึ้นมาจากการผสมผสานโครงสร้างแบบไฮบริดระหว่าง Mamba และ Transformer โดยเป็นการประกอบร่างเข้ากับเทคโนโลยีเดิมของ NVIDIA จำนวน 3 ส่วน พร้อมทั้งเพิ่มเส้นทางขาออก (Output Path) ใหม่เข้าไปอีก 1 ส่วน ผลลัพธ์ที่ได้ทำให้โมเดลสามารถส่งมอบผลลัพธ์ออกมาได้หลากหลายรูปแบบ ไม่ว่าจะเป็นเสียงพูดของตัวแทนเอเจนต์ (Agent Audio) ข้อความตัวอักษรของเอเจนต์ (Agent Text) และข้อความถอดเสียงของผู้ใช้งานที่กำลังดำเนินอยู่ (Running User Transcription)
กระบวนการฝึกฝนโมเดลนี้นับว่ามีความเข้มข้นเป็นอย่างมาก โดยทางทีมผู้พัฒนาได้ใช้ชุดข้อมูลเสียงรวมกันมากกว่า 550,000 ชั่วโมง ซึ่งมาจากทั้งคลังข้อมูลจริงและคลังข้อมูลสังเคราะห์ โดยต่อยอดมาจากรากฐานของโมเดลรุ่นก่อนหน้าอย่าง SALM-Duplex และ Audio Flamingo 3 เพื่อให้ระบบมีความเข้าใจน้ำเสียงและการสนทนาที่ลื่นไหลมากยิ่งขึ้น
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
อย่างไรก็ตาม ทาง NVIDIA ได้ระบุข้อจำกัดในการใช้งานไว้อย่างชัดเจนในเอกสารประกอบ โดยแนะนำให้จำกัดการใช้เครื่องมือสูงสุดไม่เกิน 5 ชิ้นต่อหนึ่งเซสชัน โมเดลยังไม่สามารถเรียกใช้เครื่องมือหลายตัวพร้อมกันได้อย่างเสถียร และผู้ใช้งานจะไม่สามารถขัดจังหวะเอเจนต์ในระหว่างที่ระบบกำลังดำเนินการเรียกใช้เครื่องมืออยู่ได้ นอกจากนี้ ข้อความแจ้งเตือนของระบบและการตอบกลับจากเครื่องมือจะต้องเป็นรูปแบบ ASCII เท่านั้นเพื่อให้รองรับกับระบบสังเคราะห์เสียงพูด (TTS) ได้อย่างราบรื่น
การเปิดตัวโมเดล VoiceChat 11B สะท้อนให้เห็นถึงความพยายามของ NVIDIA ในการผลักดันเทคโนโลยีการสนทนาด้วยเสียงแบบเรียลไทม์ (Real-time Speech Interaction) ให้เข้าใกล้ความสามารถของมนุษย์มากยิ่งขึ้น โดยการใช้สถาปัตยกรรมลูกผสมระหว่าง Mamba และ Transformer ช่วยให้ระบบสามารถจัดการกับบริบทข้อมูลขนาดยาวได้ดีขึ้น ขณะเดียวกัน ข้อจำกัดต่างๆ เช่น หน้าต่างเสียง 2 นาที หรืออาการวนลูป ก็ชี้ให้เห็นว่าเทคโนโลยี Full-Duplex Speech-to-Speech ในปัจจุบันยังคงอยู่ในช่วงเริ่มต้นของการพัฒนาเชิงทดลองที่ต้องอาศัยการปรับจูนอีกมากก่อนจะพร้อมใช้งานในระดับอุตสาหกรรม
ผลการทดสอบประสิทธิภาพบนมาตรฐานต่างๆ แสดงให้เห็นตัวเลขที่น่าสนใจ ดังนี้:
- Full-Duplex-Bench 1.0: การผลัดกันพูดอย่างราบรื่น (TOR 0.82 ที่ 448 มิลลิวินาที), การขัดจังหวะของผู้ใช้ (TOR 1.00 ที่ 480 มิลลิวินาที) และการจัดการช่วงหยุดพัก (TOR 0.153 ในข้อมูลสังเคราะห์ และ 0.255 ใน Candor โดยค่ายิ่งน้อยยิ่งดี)
- AU Harness BFCL-v3 (การเรียกใช้เครื่องมือด้วยเสียง): แบบง่าย 58.5%, แบบหลายรายการ 62.5%, แบบคู่ขนาน 42.5%, แบบคู่ขนานหลายรายการ 27.5%, ความเกี่ยวข้อง 89.6% และค่าเฉลี่ยรวมอยู่ที่ 56.1%
- Full-Duplex-Bench v3: การเลือกใช้เครื่องมือ 82.5%, ความแม่นยำของอาร์กิวเมนต์ 44.2% และคะแนน pass@1 อยู่ที่ 33%
ในแง่ของการจัดอันดับ NemotronLabs VoiceChat 11B ครองตำแหน่งอันดับที่ 2 ในกลุ่มโมเดลแบบ Open Full-Duplex บนแพลตฟอร์ม VoiceBench และอยู่ในอันดับที่ 2 สำหรับกลุ่มโมเดลโอเพนซอร์สบน Full-Duplex-Bench 1.0 ทั้งนี้ ผู้ที่สนใจสามารถเข้าไปดูรายละเอียดเพิ่มเติมได้ผ่านทางการ์ดโมเดลบน Hugging Face, ซอร์สโค้ดบน GitHub ในหมวด NeMo Speech และคอนเทนเนอร์บน NGC
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น