多模型研究揭示上下文设计对漏洞发现的关键影响

该论文通过24种模型-运行器配置在真实生产代码库上的实测，验证了智能体框架（harness）和上下文设计对漏洞发现的影响，结论是单一配置无法覆盖全部已知漏洞，且不同模型对上下文的敏感度差异巨大。研究发现，在265个确认的安全根因中，最大的双运行配置仅覆盖60.4%，14.3%的发现仅由单一模型完成，这直接否定了依赖单一最强模型即可实现全面防御的行业直觉。 关键证据显示，将提示词从最小化升级为包含CodeQL调用图的工程化提示后，中小规模模型的加权产出提升了20-86%，而前沿模型（frontier model）仅提升2%。进一步拆解发现，工程化提示对所有四个测试模型均有效，但额外增加CodeQL上下文仅在最小模型上带来增益。此外，前沿模型虽然保持了低误报率，但在产出效率上并未始终领先，低成本强模型能以数量级更低的成本提供相似性能。 事实层面，实验基于非公开漏洞的生产代码库，采用静态筛查、LLM调查、自我验证及独立源审查等流程；推断层面，这意味着企业不应盲目追求最昂贵的模型，而应针对任务匹配模型与上下文策略；猜测层面，未来开源生态可能涌现更多针对特定模型优化的轻量级上下文模板，以平衡成本与覆盖率。