arXiv cs.CR· Pedro Farinha·· 5 小时前AI 评分72
通过 MCP 在服务端注入治理后的安全要求可将 AI 生成代码的安全通过率从 44% 提升至 78%
Applying Security by Design at the Point of Execution: How Governed Security Requirements Affect the Security of AI-Generated Code
AI 摘要
该研究测试了在代码生成执行点注入治理后安全要求的效果,发现当通过 Model Context Protocol (MCP) 服务器将来自 SbD-ToE 知识库的要求传递给生成器时,DualGauge 基准上通过所有安全测试的任务比例从 44.1% 升至 78.0%,BaxBench 基准中功能正确且无成功利用的解决方案比例从 65% 升至 86%。
关键证据显示,这种提升是在未预先知晓具体测试用例的情况下实现的,其效果接近作者设定的 Oracle Security Reminder 上限(85%),但同时也暴露了新方法的副作用:生成的代码因遵循更严格的要求而未能通过某些修复任务中未明确说明值的函数测试。研究指出,当前基准仅能检测评估器已知的弱点,无法判断代码是否真正符合适用的安全需求。
事实层面,实验使用了单一模型和单次生成,依赖作者开源的手册作为要求来源;推断层面,这表明现有的安全评测体系存在盲区,无法衡量“按需求设计”的实际落地质量;猜测层面,未来可能需要建立基于需求合规性的新评估标准,而非仅依赖传统的漏洞扫描或对抗性测试。
来源:arXiv cs.CR · arxiv.org