跳到正文
原文
arXiv cs.CR· Shiwu Zhao, Baizhu Wang, Guoqiang Zheng, Tingyu Gao, Yuheng Xie, Rujie Chen, Xingchen Chen, Xuezhang Liu, Qixu Liu·· 7 小时前AI 评分75

新研究提出 SCS 框架统一分析 Agent 技能中的自然语言指令与代码以检测跨域风险

From Instructions to Exploits: Applying Program Analysis to Malicious Agent Skills Across Natural Language and Code

AI 摘要

该论文提出了一种名为 Supply-Chain Scanner for Agent Skills (SCS) 的静态分析框架,旨在解决 LLM 驱动的 Agent 因依赖第三方技能(结合自然语言指令与可执行代码)而产生的供应链安全风险。SCS 通过将自然语言指令编译为受限的 Python 风格中间表示,构建包含指令和捆绑代码的程序依赖图,并利用 Trust-Sensitivity-Capability (TSC) 模型在跨域图上传播安全属性,从而实现结构化的风险检测。

在包含 117 个恶意技能和 117 个良性技能的基准测试中,SCS 在五种 LLM 评估方法中取得了最高的平均准确率(85.6%)、召回率(95.2%)和 F1 分数(86.9%),同时保持了 80.2% 的精确率。其 NL-to-IR 编译器在 400 个人工标注的指令步骤上实现了 92.5%-94.5% 的步骤级正确性。此外,通过对 ClawHub 中 66,157 个真实世界技能的初步扫描,SCS 识别出 2,473 个候选项,经辅助动态验证和人工审查后确认其中 627 个为恶意技能。

事实层面,该研究展示了静态分析在跨域行为追踪上的有效性,证明了无需完全依赖规则匹配或 LLM 直接判断即可实现高召回率的恶意技能检测。推断层面,这表明现有的基于规则的扫描器可能无法有效覆盖指令与代码交互产生的复杂攻击面,而引入程序依赖图分析是提升 Agent 生态安全性的关键路径。猜测层面,随着 Agent 技能市场的扩大,此类跨域静态分析工具可能会成为行业标准的安全基础设施,但具体实施成本及误报率在大规模生产环境中的表现仍需进一步观察。

来源:arXiv cs.CR · arxiv.org