工具增强模型提示敏感性致评估波动研究

该研究通过匹配协议拆解问答流程，发现为语言模型增加工具并未提升跨措辞比较的稳定性，反而在部分场景下扩大了不同提问方式导致的排名波动。研究对六个开源模型在五个领域的五种措辞下进行测试，结果显示当程序直接回答问题时准确率提升，但工具介入后许多成对比较的措辞敏感性显著扩大。 证据细节显示，这种敏感性的扩大程度与模型调用工具的频率高度相关，而调用频率本身受措辞影响存在模型差异：部分模型的调用行为随措辞变化，另一些则保持稳定。此外，接口类型和指令描述也起关键作用，原生工具调用接口配合二次工具描述在分子领域未检测到敏感性扩大，但若工具返回中间结果，敏感性依然存在。这表明确定性报告并不能保证比较结果的稳定。 事实层面确认了工具引入改变了评估的因果链条；推断层面认为当前仅依赖准确率的基准可能掩盖模型在真实多变语境下的表现差异；猜测层面是未来基准设计需强制包含多措辞下的调用频率分布与稳定性指标，否则无法区分模型能力与提示词诱导效应。