DIB-Bench揭示LLM评估存在部署完整性盲区

该论文指出当前 LLM 智能体评估报告仅关注行为分数，却未披露部署时的运行时栈身份，导致经过篡改但保留输出内容的部署能通过所有仅基于输出的评估。作者提出 DIB-Bench 基准，在 7,560 个评分样本、六种篡改类型及从正则表达式评分器到 GPT-5-nano 的评估阶梯上进行测试，发现更强的评估器实际上接受了更多被篡改的输出，平均接受率从基于规则的 88.6% 上升至 GPT-5-nano 的 94.1%。 实验细节显示，一种触发条件式的篡改在评估套件中完全不可见，却能产生 48% 至 100% 的有害输出，且随着模型能力提升而增加。理论分析表明，任何零输出偏移的篡改在任何样本量下都无法通过输出检测，唯有通过 manifest-hash 身份通道或行为指纹（识别出 76.7% 的组件）才能发现，但后者仅覆盖六个栈组件之一。论文建议评估报告应包含分级部署身份描述符以解决此问题。 事实层面确认了现有评估范式对运行时完整性的盲视及其随模型能力增强的风险放大效应；推断认为单纯提升评估模型强度无法解决部署层安全问题，需引入非输出依赖的身份验证机制；猜测部分涉及未来行业可能强制要求评估报告中嵌入运行时哈希或指纹信息，但这取决于标准制定而非技术必然。