CASE-Bench 揭示仓库上下文显著影响 LLM 代码安全

该研究通过构建包含 51 个真实项目 CVE 的 CASE-Bench 基准，量化了仓库上下文对大语言模型生成代码安全性的具体影响。研究发现，以功能正确性为导向的上下文构建策略虽然能将功能通过率最高提升 8.2 个百分点，但安全通过率仅提升最多 3.7 个百分点；若移除关键防护代码，安全通过率会下降高达 8.1 个百分点，而插入一个不安全的示例则会使“正确但可被利用”的代码增加 6.3 个百分点。 核心证据显示，在代码智能体的实际推理轨迹中，仅有 27% 至 36% 的情况能观察到相关的安全防护机制。这意味着当前主流的工具调用和上下文检索逻辑主要服务于功能实现，往往忽略了安全上下文的关键作用，导致模型倾向于模仿项目中存在的不安全模式而非遵循潜在的安全规范。 这一事实表明，现有的安全评估基准将上下文视为固定状态的做法存在缺陷，无法反映真实开发场景中的风险。推断认为，未来的工程实践必须重新设计上下文构建算法，使其显式纳入安全约束，否则单纯依赖模型微调难以解决由上下文缺失导致的安全漏洞。猜测部分指出，若不改变这一现状，基于 Agent 的自动化代码生成工具在复杂企业级项目中的落地将面临更高的合规与审计风险。