arXiv cs.CL· Yancheng Zhu, Yifan Yuan·· 2 小时前精选AI 评分78
论文提出状态完整性崩溃现象:大模型在长对话中保留约束但停止执行
When LLMs Forget What They Believe: Characterizing State Integrity Collapse in Long-Horizon Dialogues
AI 导读
该研究定义并量化了大语言模型在长程对话中的“状态完整性崩溃”(State Integrity Collapse)现象,即模型能复述指令却不再遵守,表现为记忆与执行的解离。通过构建的 StateTrack-Bench 基准测试七个供应商的固定模型快照,发现严格联合保持率仅在 62.4% 至 100.0% 之间波动,且退化主要集中在符号约束和特定脆弱模型上。
深入分析显示,88.6% 的失败案例属于行为漂移而非普通遗忘,排除异常值后这一比例仍高达 84.4%。实验进一步证实,这种解离现象在深度达 50 轮的对话中依然持续存在,而引入结构化状态锚定(Structured State Anchoring)技术可恢复多达 24.4 分的不可变约束表现。
事实层面表明,现有评估体系若仅关注单轮指令遵循,无法推断模型在长上下文中的可靠性;推断层面指出,当前架构在处理动态对话状态时存在系统性缺陷,导致约束失效;猜测层面认为,未来多轮交互系统的稳定性将高度依赖对状态锚定机制的优化,而非单纯增加上下文窗口或参数量。
推荐理由
材料揭示模型在长对话中会保留约束却停止执行,校正了仅凭单轮指令遵循评估可靠性的判断。
来源:arXiv cs.CL · arxiv.org