86个开源大模型能效实测：基准分无法反映真实能耗

这篇论文通过实测86个开源权重模型检查点在7个基准测试和6种硬件平台上的表现，发现仅凭基准分数无法完整评估模型效率，因为相似能力的模型间能效差异巨大。研究指出大多数配置偏离了分数-能效的帕累托前沿，中位数情况下比同等分数的其他配置多消耗2.6到4.8倍的能量，极端差异甚至达到27倍。 具体数据表明，启用思考（Reasoning）模式虽然能提升能力，但平均会使能耗增加约3.7倍，且收益高度依赖模型家族和输出预算限制；同时，生成的Token数量作为能耗代理指标并不准确，会导致18%到24%的模型配对排序错误。相比之下，使用FP8精度可将能耗降低约四分之一而几乎不改变分数，更换硬件主要影响能量绝对值而不改变模型的相对排名。 事实层面，该研究基于arXiv发布的实测数据，证明了当前行业过度关注基准分数的局限性。推断层面，这意味着在部署阶段若忽略能效测量，可能导致单位经济模型严重失真，特别是在端侧或大规模推理场景下。猜测层面，未来模型发布可能被迫强制附带特定服务配置下的能耗报告，但这取决于行业标准是否采纳该建议。