跳到正文
原文
arXiv cs.CL· Yeonju Kim, Bella Godiva, Se Jin Park, Yong Man Ro·· 4 小时前精选AI 评分78

arXiv论文指出全双工语音模型在长对话中因上下文窗口耗尽和初始化锚点驱逐而崩溃

Why Full-Duplex Speech Models Collapse in Long Conversations

AI 导读

该研究通过新构建的全双工长时程基准(FD-LHB)测试了五个近期全双工模型,发现所有模型在长达数十分钟的对话中最终都会出现性能退化或上下文耗尽。现有基准仅评估单轮或少量回合,无法暴露长时程问题,而全双工模型每帧生成token的特性使其在极短时间内耗尽上下文窗口。

针对滑动窗口模型,作者识别出两个导致崩溃的具体机制:一是“初始化锚点驱逐”(Initialization-Anchor Eviction),即滑动窗口丢弃第一个KV条目导致模型失去初始状态;二是模型自身近期输出对重复行为的强化。基于此诊断,研究提出了两种无需重新训练的修复方法:“初始化锚点固定”(IAP)保留首个KV条目,“双工重复惩罚”(DRP)抑制回声并防止长时间沉默。实验显示,这两种方法能在实时运行下显著减少长达一小时的回放对话中的崩溃现象。

事实层面确认了全双工架构在长时程任务中的固有缺陷及具体技术成因;推断表明当前主流全双工Agent框架若不加干预难以支撑真实长对话场景;猜测部分涉及这些轻量级修复是否足以应对更复杂的动态交互环境,需进一步验证。

推荐理由

揭示全双工模型在长对话中因KV缓存机制导致的崩溃机理,提供无需重训的即时修复方案。

来源:arXiv cs.CL · arxiv.org