上下文压缩策略对后续问题回答表现的影响研究
先了解这件事
2026年10月21日，arXiv cs.CL发布论文评估语言模型智能体在压缩上下文时的策略影响。研究发现，使用gpt-6-luna等模型根据当前问题筛选句子，虽能在当次提问中将准确率提升11.4个点（25% token预算下），但在面对同一文本中的后续问题时，该基于当前意图的选择策略并未显示出优于随机删除句子的效果。相比之下，忽略当前问题、直接删除单词而非句子的方法表现更佳，LLMLingua-2在后续MultiRC问题上表现优于随机删除。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.CL研究指出为当前问题选择句子进行上下文压缩会损害后续问题的回答表现
该论文评估了语言模型智能体在压缩上下文时，针对当前问题选择的策略对后续问题的影响。研究发现，虽然使用 gpt-6-luna 等模型根据当前问题筛选句子能在当次提问中将准确率提升 11.4 个点（25% token 预算下），但在面对同一文本中的后续问题时，这种基于当前意图的选择策略并未显示出优于随机删除句子的效果。 相比之下，忽略当前问题、直接删除单词而非句子的方法表现更佳。LLMLingua-2 在后续 MultiRC 问题上比随机删除句子高出 12.5 个点，因为它保留了约两倍于随机删除的内容词比例。即便在同等内容词保留率下，其优势依然存在但有所缩减。在 FEVER 数据集上，仅看标签准确率可能高估了保留文本的支持度，因为基于保留证据的评分显示句子选择的优势消失，而 LLMLingua-2 的增益也无法完全归因于保留的文本。 结论是，针对特定问题的上下文压缩策略不能可靠地预测其对后续任务的服务能力。不同设置下结果存在差异：在 Evidence Inference 中句子选择在 25% 预算下优于 LLMLingua-2，而在需要精确标识符的 $ au$-bench 轨迹中，句子选择优于随机删除，但 LLMLingua-2 未显示增益。事实层面确认了“为当前问题选句”策略在跨问题场景下的局限性；推断表明 Agent 系统若依赖此类策略将面临长期上下文质量下降风险；猜测部分涉及具体业务场景中多轮问答的上下文管理成本与收益平衡。
本事件热度走势
当前热度 9·可比范围峰值 9（10月21日 14:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。