86个开源大模型在多种基准与硬件下的推理能效实测显示能力分数无法反映真实能耗

这篇论文通过实测86个开源权重模型检查点在7个基准测试和6种硬件平台上的表现，发现仅凭基准分数无法完整评估模型效率，因为相似能力的模型间能效差异巨大。研究指出大多数配置偏离了分数-能效的帕累托前沿，中位数情况下比同等分数的其他配置多消耗2.6到4.8倍的能量，极端差异甚至达到27倍。

具体数据表明，启用思考（Reasoning）模式虽然能提升能力，但平均会使能耗增加约3.7倍，且收益高度依赖模型家族和输出预算限制；同时，生成的Token数量作为能耗代理指标并不准确，会导致18%到24%的模型配对排序错误。相比之下，使用FP8精度可将能耗降低约四分之一而几乎不改变分数，更换硬件主要影响能量绝对值而不改变模型的相对排名。

事实层面，该研究基于arXiv发布的实测数据，证明了当前行业过度关注基准分数的局限性。推断层面，这意味着在部署阶段若忽略能效测量，可能导致单位经济模型严重失真，特别是在端侧或大规模推理场景下。猜测层面，未来模型发布可能被迫强制附带特定服务配置下的能耗报告，但这取决于行业标准是否采纳该建议。