五项商业LLM搜索决策行为基准测试显示显著差异

该论文构建了一个包含 400 道选择题的基准测试，旨在评估代理式 LLM 助手在何时选择调用外部工具（如网络搜索）而非依赖内部静态记忆。测试将问题分为已知知识（IK）和训练截止后发布的外部知识（OK），并引入 NAS 和 KIS 两个动作级评分来衡量模型在 OK 问题上搜索和在 IK 问题上克制的表现。 实测数据显示不同模型的决策逻辑存在巨大分歧：GPT-5 mini 和 Grok 4 Fast 在 OK 问题上搜索率超过 90%，但在 IK 问题上仅搜索 1%；相比之下，Mistral Small 仅在 20% 的 OK 问题上触发搜索，更多时候选择直接放弃回答。此外，显式的时序线索是触发搜索的关键因素之一，当缺乏此类提示时，两款选择性模型的 NAS 分数从约 0.72 下降至 0.57–0.58。值得注意的是，其中一款产品的搜索指示器被证实无法使用。 事实层面，该研究揭示了当前主流商业模型在“何时搜索”这一核心 Agent 能力上尚未形成统一标准，且部分模型过度依赖外部提示而非内在判断。推断来看，NAS 和 KIS 分数反映的是特定产品对搜索触发的敏感度，而非严格意义上的元认知能力。猜测方面，若模型无法在缺乏明确时间线索时自主识别知识时效性，其在复杂长周期任务中的可靠性将面临挑战，这要求开发者在部署时需针对具体场景调整检索策略或优化提示工程。