跳到正文
原文
arXiv cs.CR· Ira Ceka, Arnav Garg, Ryan Lutz, Ting Zhang, Ratnadira Widyasari, Gail Kaiser, Baishakhi Ray·· 5 小时前AI 评分72

MetaVul 提出通过工作流循环自动发现并优化漏洞检测智能体提示词框架

MetaVul: Agentic Harness Discovery for Vulnerability Detection

AI 摘要

该论文针对大语言模型智能体在漏洞检测中难以区分细微安全修复与良性代码变动的痛点,提出了 MetaVul 框架。这是一个自我改进的提示词(harness)发现系统,它不再依赖人工编写的固定脚手架,而是利用成对的漏洞函数和补丁函数反馈,通过基于工作流的优化循环迭代 refine 提示词结构。

实验数据显示,在包含 202 对样本的验证集上,使用帕累托最优前沿的提示词可将成对漏洞检测准确率提升 23.3 个百分点;在未见的 430 对样本测试集上提升达 25.8 个百分点。关键事实在于,在一个模型上优化的提示词能够直接迁移到其他未见过的模型架构上,无需进一步优化即可将未见过数据集的成对准确率提升 14.7 个百分点。

这一结果证实了提示词框架本身的可迁移性优于单纯依赖模型能力。推断表明,未来的自动化安全审计工具应转向动态生成和优化提示词的工作流,而非静态部署。猜测的是,这种基于历史轨迹和日志搜索 Pareto-optimal 解的方法可能同样适用于其他需要复杂逻辑判断的代码分析任务,但具体效果需待更多基准测试验证。

来源:arXiv cs.CR · arxiv.org