研究指出为当前问题选择句子进行上下文压缩会损害后续问题的回答表现

该论文评估了语言模型智能体在压缩上下文时，针对当前问题选择的策略对后续问题的影响。研究发现，虽然使用 gpt-6-luna 等模型根据当前问题筛选句子能在当次提问中将准确率提升 11.4 个点（25% token 预算下），但在面对同一文本中的后续问题时，这种基于当前意图的选择策略并未显示出优于随机删除句子的效果。

相比之下，忽略当前问题、直接删除单词而非句子的方法表现更佳。LLMLingua-2 在后续 MultiRC 问题上比随机删除句子高出 12.5 个点，因为它保留了约两倍于随机删除的内容词比例。即便在同等内容词保留率下，其优势依然存在但有所缩减。在 FEVER 数据集上，仅看标签准确率可能高估了保留文本的支持度，因为基于保留证据的评分显示句子选择的优势消失，而 LLMLingua-2 的增益也无法完全归因于保留的文本。

结论是，针对特定问题的上下文压缩策略不能可靠地预测其对后续任务的服务能力。不同设置下结果存在差异：在 Evidence Inference 中句子选择在 25% 预算下优于 LLMLingua-2，而在需要精确标识符的 $ au$-bench 轨迹中，句子选择优于随机删除，但 LLMLingua-2 未显示增益。事实层面确认了“为当前问题选句”策略在跨问题场景下的局限性；推断表明 Agent 系统若依赖此类策略将面临长期上下文质量下降风险；猜测部分涉及具体业务场景中多轮问答的上下文管理成本与收益平衡。