跳到正文
原文
arXiv cs.CR· Yupu Wang, Zhengyuan Jiang, Reachal Wang, Neil Zhenqiang Gong·· 6 小时前AI 评分75

新论文提出通过规则文件提示词注入诱导代码智能体发生包幻觉攻击

Package Hallucination Attacks on Coding Agents through Prompt Injection in Rule Files

AI 摘要

这篇来自 arXiv cs.CR 的论文首次定义了“包幻觉攻击”(package hallucination attack),指出现代基于社区共享规则文件(如 .cursorrules)的代码智能体框架存在严重安全隐患。攻击者通过在良性规则文件中注入恶意提示词,可诱导智能体将合法依赖替换为攻击者控制的恶意包。该研究由 Yupu Wang 等人完成,针对当前智能体安全机制未充分探索这一管道风险的现状提出了系统性解决方案。

作者提出了名为 PackHallu 的进化优化框架,利用轨迹级反馈和 LLM 引导的变异迭代重写注入的提示词,以获取高效的攻击载荷。在多个基准测试、大语言模型及不同智能体框架上的评估显示,PackHallu 实现了高攻击成功率,并在多样化的模型与智能体组合间表现出强迁移能力。这些结果证实了代码智能体在面对此类特定形式的提示词注入时具有显著脆弱性。

事实层面,该研究确认了规则文件作为攻击载体的有效性,并量化了 PackHallu 的攻击性能。推断层面,这意味着现有的代码智能体安全防御需从单纯关注用户输入扩展到对规则文件内容的严格校验与隔离。猜测层面,若行业广泛采用第三方规则文件而不加验证,恶意包植入可能成为规模化供应链攻击的新路径,但具体影响范围取决于实际部署中规则文件的来源信任机制。

来源:arXiv cs.CR · arxiv.org