HardEval 发布首个基于真实系统执行的 AI 安全加固与合规修复评测基准

本文发布了 HardEval，一个针对语言模型辅助安全加固任务的执行验证型评测基准。该基准基于 Red Hat Enterprise Linux 8 的 STIG 控制项构建，要求模型将自然语言安全需求转化为 SSH 配置、认证策略、审计规则和内核参数等持久化系统变更，并在真实虚拟机中执行生成的 Bash 脚本，利用 OpenSCAP/OVAL 检查进行从失败到通过的自动评分。

评估覆盖了十四个前沿及开源权重配置，揭示了不同安全领域的能力差异显著且分布不均。核心发现是存在一种反复出现的失效模式：模型能生成看似合理的合规代码，但无法满足精确的合规条件。研究仅对四个开源权重配置的多轮运行结果进行了 Wilson 置信区间分析以保留观测排序，其余结果未做统计显著性声明。

事实层面，HardEval 公开了代码与数据，并明确使用专家编写的参考修复方案和 OVAL 检查作为隐藏的地面真值。推断层面，现有代码类或应用类基准无法有效衡量模型在操作系统层面的实际加固能力，这解释了为何过往评估可能高估了模型在真实环境中的可用性。猜测层面，若行业继续依赖静态代码检查而非执行验证，可能会持续低估模型在复杂合规场景下的风险。