LLM漏洞修复基准测试可靠性研究

1. 12:00
   arXiv cs.CR

   论文指出LLM漏洞修复基准中PoC通过率虚高而开发者对齐测试表现低迷

   该研究通过构建包含112个历史漏洞、覆盖84个开源项目的数据集，发现当前LLM自动化漏洞修复基准存在严重失真风险。尽管在理想条件下模型能实现较高的PoC（概念验证）通过率，但衡量是否真正符合原始开发者意图的“开发者测试”通过率依然很低，且随模型迭代提升微弱。 研究识别出三个导致评估失真的维度：提示词与工具可用性可能在不提升补丁质量的情况下推高成功率；框架层面的权限错误和超时处理会静默抑制或夸大性能；数据集中仅依赖单一PoC测试无法捕捉补丁是否解决根本原因。实验显示，新模型更多是抑制症状而非生成上游级别的修复。 事实层面，作者构建了含回归测试和开发者测试的新数据集并进行了控制实验。推断层面，现有基准分数高度敏感于评估设计，不能直接代表工业级修复能力。猜测层面，若行业继续依赖PoC作为主要指标，可能导致对LLM在安全工程实际落地能力的误判，进而影响资源投入方向。

当前热度 9·可比范围峰值 9（10月8日 14:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。