CTI-REALM基准测试显示开源模型在放宽消息限制后能匹配闭源模型且成本更低

该研究评估了26个模型（19个开源权重、7个闭源）在CTI-REALM基准上的表现，核心发现是只要允许足够的交互轮次，开源模型能以不到十分之一的成本达到最强闭源模型的能力水平。然而，基准发布的消息数限制构成了混淆因素：当任务耗尽限制时，所有检查点得分均为零，导致结果部分反映了模型完成速度而非实际能力；在放宽限制后，原本被截断的模型恢复性能，最高奖励反而归属于开源模型。

研究进一步指出，价格并非能力的可靠指标，相似奖励的模型间成本差异超过一个数量级。由于原有检查点分数主要记录代理的行为或提及内容，作者引入了分阶段指标，通过执行检测查询并对照答案键来评分代理提交的内容。数据显示不同模型在不同工作流阶段表现领先，暗示应按阶段路由任务至最优模型，而非仅依据总分选择单一模型。此外，输出中用于思考的token占比与奖励并不相关。

事实层面确认了开源模型在特定约束下具备竞争力；推断层面表明当前基准测试方法可能低估开源模型价值；猜测层面认为未来安全Agent部署将转向多模型协作架构而非依赖单一昂贵模型。