CTI-REALM基准显示开源模型可匹配闭源能力且成本更低

该研究评估了26个模型（19个开源权重、7个闭源）在CTI-REALM基准上的表现，核心发现是只要允许足够的交互轮次，开源模型能以不到十分之一的成本达到最强闭源模型的能力水平。然而，基准发布的消息数限制构成了混淆因素：当任务耗尽限制时，所有检查点得分均为零，导致结果部分反映了模型完成速度而非实际能力；在放宽限制后，原本被截断的模型恢复性能，最高奖励反而归属于开源模型。 研究进一步指出，价格并非能力的可靠指标，相似奖励的模型间成本差异超过一个数量级。由于原有检查点分数主要记录代理的行为或提及内容，作者引入了分阶段指标，通过执行检测查询并对照答案键来评分代理提交的内容。数据显示不同模型在不同工作流阶段表现领先，暗示应按阶段路由任务至最优模型，而非仅依据总分选择单一模型。此外，输出中用于思考的token占比与奖励并不相关。 事实层面确认了开源模型在特定约束下具备竞争力；推断层面表明当前基准测试方法可能低估开源模型价值；猜测层面认为未来安全Agent部署将转向多模型协作架构而非依赖单一昂贵模型。