<div class="key-takeaways"><ul><li>PolyAI เปิดตัว Dialog-RSN-1 โมเดลเสียงแบบ Native สำหรับการสนทนา</li><li>รองรับเฉพาะลูกค้าปัจจุบันและลูกค้าใหม่ที่ขอสิทธิ์เข้าถึงล่วงหน้า ยังไม่มี Open weights หรือ Public API</li><li>ทำคะแนนสูงสุดบนเกณฑ์มาตรฐานภายในอย่าง Dialog-Eval</li><li>มุ่งเน้นรองรับภาษาอังกฤษเป็นหลักในเวอร์ชันนี้</li></ul></div><p>บริษัท PolyAI ได้ประกาศเปิดตัวโมเดลสนทนารุ่นใหม่ในชื่อ <strong>Dialog-RSN-1</strong> ซึ่งเป็นโมเดลประเภท Audio-Native Dialog Model ที่มีความสามารถในการประมวลผลเสียงพูดโดยตรง ผสานกระบวนการเปลี่ยนตาพูด (Turn-taking), การจดจำเสียงพูด (Speech Recognition), การเรียกใช้งานฟังก์ชัน (Function Calling) และการสร้างคำตอบเข้าด้วยกัน โดยในขณะนี้ยังไม่มีการเปิดเผยโมเดลแบบ Open weights หรือเปิดให้ใช้งานผ่าน Public API สาธารณะแต่อย่างใด ลูกค้าปัจจุบันสามารถเปิดใช้งานได้ทันที ส่วนลูกค้าใหม่สามารถยื่นขอสิทธิ์เข้าถึงล่วงหน้าได้</p><p>ในปัจจุบัน สถาปัตยกรรมของระบบเสียงมักแบ่งออกเป็นสองแบบหลัก ซึ่งแต่ละแบบมีข้อจำกัดที่แตกต่างกัน ระบบแบบ Cascaded stack จะส่งเฉพาะผลลัพธ์ที่ดีที่สุดของระบบ ASR ไปยัง LLM ทำให้สูญเสียข้อมูลสำคัญอย่างโทนเสียง ความลังเล และความไม่แน่นอนของการจดจำเสียงก่อนที่ LLM จะได้รับข้อมูล ในขณะที่โมเดลแบบ Speech-to-speech เช่น GPT Realtime และ Gemini Live จะเก็บข้อมูลเสียงไว้ทั้งหมดแต่ฝังเสียงพูดไว้ในตัวโมเดล ทำให้จำกัดการควบคุมการออกเสียง นอกจากนี้ยังมีปัญหาเรื่องการใช้ทรัพยากร GPU ตลอดเวลาสำหรับการโทรแบบ Full-duplex</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/polyai_dialog_rsn_1_native_ms8hhhjc_inline_1_515deb6ecd.jpg" alt="voice assistant architecture data flow" loading="lazy" /><p class="color-gray-500 text-sm mt-10">ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง</p></div><div class="ai-insight"><p>การพัฒนาโมเดลเสียงในปัจจุบันมักต้องเลือกระหว่างความแม่นยำในการตีความข้อความกับความลื่นไหลในการตอบโต้แบบเรียลไทม์ แนวทางของ PolyAI ที่ใช้โมเดลวิเคราะห์เสียงเฉพาะขาเข้า (Input only) แล้วส่งต่อการสร้างเสียงไปยังระบบ TTS แยกต่างหาก ช่วยลดภาระการประมวลผลและเพิ่มความแม่นยำในการตัดสินใจจังหวะการพูดคุย ซึ่งเป็นความท้าทายสำคัญในการสร้างเสียงสนทนาของปัญญาประดิษฐ์ให้เป็นธรรมชาติเหมือนมนุษย์</p></div><p>สำหรับแนวทางการทำงานของ Dialog-RSN-1 จะรับรู้เสียงเฉพาะที่ขาเข้าเท่านั้น โดยโมเดลเดียวจะทำหน้าที่วิเคราะห์เสียงดิบและส่งมอบการสร้างเสียงไปยังระบบ TTS ที่สามารถควบคุมผ่าน Prompt ได้แยกต่างหาก ระบบจะทำงานผ่านการเรียกใช้งานตามความต้องการ (On-demand) แทนที่จะเป็นการสตรีมมิ่งตลอดเวลา โดยอาศัยระบบ VAD ที่มีความแม่นยำสูงร่วมกับตัวจับเวลาเพื่อตัดสินใจช่วงเวลาที่เหมาะสมในการรันโมเดล และโทเค็นแรกของการตอบกลับจะเป็นตัวกำหนดว่าตัวแทนสนทนาควรจะพูดตอบกลับหรือไม่</p><div class="stat-row"><div class="stat-item"><span class="stat-number">3.9</span><span class="stat-label">อัตราการยอมรับเฉลี่ยของ Speculative drafter</span></div><div class="stat-item"><span class="stat-number">6.9%</span><span class="stat-label">อัตราความผิดพลาดของคำ (WER) สำหรับ gpt-4o-transcribe เมื่อใช้บริบทเดียวกัน</span></div></div><p>ในด้านการฝึกอบรม ทาง PolyAI ได้ทำการฝึกอบรมโมเดล Multimodal แบบ Open-weight เพิ่มเติมด้วยกระบวนการ Supervised และ Reinforcement finetuning จากข้อมูลภายในองค์กร โดยประเมินโมเดลพื้นฐานหลายตัว เช่น Gemma, GPT-OSS, Qwen และ Mistral พร้อมทั้งปรับแต่งความหน่วงให้ต่ำกว่า 300 มิลลิวินาทีบน GPU A100 รวมถึงการถอดเสียงพูดที่จะทำงานเป็นลำดับสุดท้ายหลังจากการตอบสนองหรือการเรียกใช้เครื่องมือเสร็จสิ้น</p><p class="source-attribution">ที่มา: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/07/30/polyai-releases-dialog-rsn-1-an-audio-native-dialog-model-that-fuses-turn-taking-speech-recognition-function-calling-and-response/" target="_blank" rel="noopener noreferrer">MarkTechPost</a></p>

<div class="key-takeaways"><ul><li>PolyAI launched Dialog-RSN-1, an audio-native conversational model.</li><li>Currently available only to existing customers and new customers via early access requests; no open weights or public API yet.</li><li>Achieved top scores on the internal Dialog-Eval benchmark.</li><li>Focused primarily on the English language for this initial release.</li></ul></div><p>PolyAI has officially announced the release of <strong>Dialog-RSN-1</strong>, an audio-native dialog model designed to reason directly over raw audio. The model integrates turn-taking, speech recognition, function calling, and response generation into a unified workflow. At present, there are no open weights or public APIs available; existing customers can enable the feature immediately, while new customers are required to request early access.</p><p>Current voice architectures typically rely on two dominant paradigms, each with distinct compromises. A cascaded stack transmits only the best guess from the ASR to the LLM, discarding tone, hesitation, and recognition uncertainty before the LLM processes the input. Conversely, speech-to-speech models like GPT Realtime and Gemini Live retain audio features but bake the voice directly into the model, restricting pronunciation control and locking up a dedicated GPU for continuous full-duplex calls.</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/polyai_dialog_rsn_1_native_ms8hhhjc_inline_1_515deb6ecd.jpg" alt="voice assistant architecture data flow" loading="lazy" /><p class="color-gray-500 text-sm mt-10">Stock photo for illustration only, not from the actual event</p></div><div class="ai-insight"><p>The architectural trade-off in conversational AI usually involves balancing low-latency turn-taking with deep linguistic comprehension. PolyAI's approach—utilizing an audio-aware input model while decoupling the generation phase to a separate TTS system—optimizes computational efficiency and gives developers granular control over the conversational flow, addressing longstanding latency and naturalness hurdles in voice agents.</p><p>Dialog-RSN-1 operates as audio-aware exclusively on the input side. A single model reasons over raw audio and hands off text generation to a separate, promptable text-to-speech system. Instead of continuous streaming, the system is probed on demand using a high-recall Voice Activity Detector (VAD) coupled with specific timers, ensuring that the initial token of a reply dictates whether the agent initiates speech.</p><div class="stat-row"><div class="stat-item"><span class="stat-number">3.9</span><span class="stat-label">Mean acceptance tokens for speculative drafter</span></div><div class="stat-item"><span class="stat-number">6.9%</span><span class="stat-label">WER for gpt-4o-transcribe with matching context</span></div></div><p>To construct the model, PolyAI post-trained open-weight multimodal architectures using supervised and reinforcement fine-tuning on proprietary in-house data, evaluating base models including Gemma, GPT-OSS, Qwen, and Mistral. Engineering efforts targeted sub-300ms latency on A100 GPUs, incorporating attention cache prefilling and parallelized transcription that runs concurrently with response generation.</p><p class="source-attribution">Source: <img src="https://www.google.com/s2/favicons?domain=www.marktechpost.com&sz=64" alt="MarkTechPost" class="source-logo" width="16" height="16" /> <a href="https://www.marktechpost.com/2026/07/30/polyai-releases-dialog-rsn-1-an-audio-native-dialog-model-that-fuses-turn-taking-speech-recognition-function-calling-and-response/" target="_blank" rel="noopener noreferrer">MarkTechPost</a></p>

medium_polyai-dialog-rsn-1-native-ms8hhhjc.jpg

small_polyai-dialog-rsn-1-native-ms8hhhjc.jpg

thumbnail_polyai-dialog-rsn-1-native-ms8hhhjc.jpg

polyai-dialog-rsn-1-native-ms8hhhjc.jpg

PolyAI เปิดตัว Dialog-RSN-1 โมเดลสนทนารุ่นใหม่ที่ออกแบบมาเพื่อการประมวลผลเสียงโดยตรง ผสานความสามารถด้าน Turn-taking, การจดจำเสียงพูด, Function Calling และการตอบสนองไว้ในหนึ่งเดียว

PolyAI introduces Dialog-RSN-1, an audio-native dialog model fusing turn-taking, speech recognition, function calling, and response generation into a single system.

Inewgen

Inewgen

#Audio-Native

PolyAI Releases Dialog-RSN-1: An Audio-Native Dialog Model

Inewgen