多模型研究显示工程化上下文显著提升中小模型漏洞发现率而前沿模型收益有限

该论文通过24种模型-运行器配置在真实生产代码库上的实测，验证了智能体框架（harness）和上下文设计对漏洞发现的影响，结论是单一配置无法覆盖全部已知漏洞，且不同模型对上下文的敏感度差异巨大。研究发现，在265个确认的安全根因中，最大的双运行配置仅覆盖60.4%，14.3%的发现仅由单一模型完成，这直接否定了依赖单一最强模型即可实现全面防御的行业直觉。

关键证据显示，将提示词从最小化升级为包含CodeQL调用图的工程化提示后，中小规模模型的加权产出提升了20-86%，而前沿模型（frontier model）仅提升2%。进一步拆解发现，工程化提示对所有四个测试模型均有效，但额外增加CodeQL上下文仅在最小模型上带来增益。此外，前沿模型虽然保持了低误报率，但在产出效率上并未始终领先，低成本强模型能以数量级更低的成本提供相似性能。

事实层面，实验基于非公开漏洞的生产代码库，采用静态筛查、LLM调查、自我验证及独立源审查等流程；推断层面，这意味着企业不应盲目追求最昂贵的模型，而应针对任务匹配模型与上下文策略；猜测层面，未来开源生态可能涌现更多针对特定模型优化的轻量级上下文模板，以平衡成本与覆盖率。