BlindToChange 基准揭示 AI Agent 主动发现变更能力不足

该研究通过新基准 BlindToChange 证明，尽管 AI Agent 具备深度网络搜索能力，但在用户未显式提及近期事件时，其输出正确性严重依赖是否主动验证事实变更。与 BrowseComp 等明确要求查找目标的基准不同，BlindToChange 模拟真实推荐场景，测试模型能否自动识别如景点临时关闭等影响建议的突发状况。实验显示，当变更未被明确提示时，系统性能较直接询问场景下降高达 27.5 个百分点，即便在高推理努力下也无法弥补这一差距。 深入分析搜索轨迹发现，超过一半的失败案例源于 Agent 未能直接发起搜索以核实相关事实是否发生变化。这表明当前主流 Agent 框架在处理隐式信息需求时，缺乏主动假设验证机制，往往基于静态知识库或初始检索结果生成回答，而非动态追踪现实世界的最新变动。该基准利用 Wikidata 自动抽取近期事件并定期刷新，为评估 Agent 的实时感知能力提供了可量化的新维度。 事实层面确认了 Agent 在隐式变更检测上的显著短板；推断层面表明现有评测体系可能高估了 Agent 在实际复杂任务中的可靠性；猜测层面认为未来产品若要在真实场景中落地，必须将“主动验证变更”作为核心工程能力，而非仅依赖提示词优化。