SecPRBench 评估显示 Agentic 代码审查在真实漏洞引入提交上召回率介于 32.5% 至 78.1%

该论文发布 SecPRBench，首个基于经验证的真实世界漏洞引入提交（bug-introducing commits）的代理安全代码审查基准，旨在解决现有基准多依赖事后修复补丁而非原始错误提交的偏差问题。研究团队构建了自动化代理流水线，从 Firefox、V8 和 OpenSSL 等九个关键系统中采集并验证了 265 个任务，涵盖数百万行代码，并使用 LLM-as-a-judge 机制将发现与真实漏洞基线进行匹配以确立评估精度。

在八个前沿模型的测试中，召回率区间为 32.5% 至 78.1%，其中 Grok 4.6 和 GPT-6 sol ranking 表现最佳。深入分析显示，大多数漏报并非简单的疏忽：在 68% 的漏报案例中，代理识别到了包含缺陷的文件，但对其产生机制提出了错误的解释。此外，安全导向的辅助工具表现出显著的行为差异：OpenAI 的 Codex Security 因倾向于弃权（abstaining）导致召回率下降 8.3 个百分点，而 Anthropic 的 Defending Code 则使召回率提升 7.7 个百分点，但伴随着更高的成本。

事实层面，SecPRBench 提供了基于真实 commit 的评估数据，明确了当前主流模型在真实场景下的性能上限与下限。推断层面，这表明单纯依赖模型生成“正确”的代码修复或报告并不足以保证安全，模型对漏洞成因的归因能力（reasoning mechanism）是比单纯检测文件存在性更关键的瓶颈。猜测层面，若行业继续采用基于事后修复数据的基准来训练或微调安全 Agent，可能会高估其在生产环境中的实际拦截能力，导致部署后的安全缺口被低估。