NeurIPS 2026 研讨揭示托管语音模型缺乏自然对话能力

该论文基于 Seamless Interaction 数据集中 176 段非脚本对话的 427 个停顿点和 482 个回合结束点，对六个实时语音系统进行了自然度评估，发现 GPT Realtime、Gemini 3.1 Flash Live 和 Grok Voice 等托管 API 几乎在所有停顿处都会响应，仅在延迟上存在差异，而 PersonaPlex 和 Moshi 等全双工模型是唯一能保持沉默并在人类反应时间内打断的系统。 在事实回忆测试中，当以文本形式提供历史上下文时，托管系统在 Claude Opus 5.5 裁判下能回忆 41% 至 60% 的对话事实，但在严格词匹配下仅为 19% 至 26%；若将历史作为音频输入，全双工模型的回忆率则降至 17% 至 22%（裁判）和 12% 至 15%（词匹配）。此外，托管系统的回复时长普遍超过真人，且使用基于沉默的端点检测器时延迟为 1 至 4 秒，使用语义转接检测时约为 8 秒。 事实层面确认了当前主流托管语音服务在交互节奏上仍依赖固定延迟而非真正的语义理解，推断其商业落地可能面临“机械感”过强的体验瓶颈，猜测全双工架构在复杂社交场景中的优势将随时间推移成为差异化竞争的关键，但具体产品化路径需等待后续工程优化验证。