arXiv cs.CR· Zacharie Chenail-Larcher, Daniele Lunghi, Melissa Tessa, Quentin Sti\'evenart, Jacques Klein, Tegawend\'e F. Bissyand\'e, Florent Avellaneda, Naouel Moha·· 5 小时前AI 评分55
RiskyPy 提出基于模型能力的自动化评测管道以联合评估 LLM 代码生成的安全性与功能性
RiskyPy: Toward Model-Calibrated Prompt Generation for Joint Security and Functionality Evaluation of LLM-Generated Code
AI 摘要
该论文针对现有基准测试成本高且未适配特定模型能力范围的问题，提出了 RiskyPy 自动化流水线，利用功能性和漏洞金丝雀（canaries）生成与模型熟练度校准的安全导向代码生成数据集。研究在 Python 领域覆盖 2025 CWE Top 25 中的 18 个常见弱点类型，生成了 101 个提示词样本。
实验结果显示，在 Qwen3-4B 和 Seed-Coder-8B 模型上，生成的任务保持功能可访问性，57% 至 72% 的提示词能产出功能性代码，但仅有 5% 至 10% 的生成结果完全不含 Bandit 检测到的漏洞。这一数据表明当前模型在兼顾代码可用性与安全性方面仍存在显著差距，为评估改进方法提供了具体的量化依据。
事实层面，该研究构建了一个包含具体漏洞类型和模型表现的评测集；推断层面，这种按能力校准的方法可能比通用基准更能反映真实开发场景中的风险分布；猜测层面，未来若将此类校准机制扩展至更多语言或更复杂的业务逻辑，可能会揭示不同架构模型在安全对齐上的结构性差异。
来源：arXiv cs.CR · arxiv.org