跳到正文
原文
Hacker News · AI· geox·· 8 小时前AI 评分72

宾州大学团队演示通过隐藏触发词使 AI 机器人执行危险动作的 MuTRAP 攻击与 PROTEA 防御

Secret trigger words could make AI-powered robots dangerous

AI 摘要

Binghamton University 研究团队在 2026 IEEE/RSJ IROS 会议上发表两篇论文,揭示了利用大语言模型(LLM)生成机器人任务计划时的安全漏洞。他们提出了一种名为 MuTRAP 的后门攻击方法,通过在指令中植入看似无害的触发词(如 CF),即可诱导被预置恶意代码的 LLM 将机器人从正常目标(如切苹果)转向危险行为(如切人手)。该研究强调,由于许多机器人公司直接使用第三方训练的模型,攻击者无需直接访问模型权重,仅需了解应用架构和模型体系结构即可实施攻击。

针对此威胁,团队开发了名为 PROTEA 的防御机制,该系统能在任务执行的每一步评估建议动作的安全性。PROTEA 不仅能识别单一动作的风险,还能结合环境演变判断序列行为的危害性,例如识别“将装有药品的盒子放入垃圾桶”这一看似 benign 但实际有害的组合操作。实验显示,该防御系统在检测有害与良性计划方面具有合理的准确性。

事实层面,该研究由 Adnan Siraj Rakin 和 Shiqi Zhang 等人在 Binghamton University 完成,并在 2026 年 IROS 会议上发布。推断层面,这标志着 AI 安全关注点正从纯文本交互向物理世界执行延伸,且供应链中的第三方模型信任问题成为关键风险源。猜测层面,未来机器人控制器和感知模块可能面临类似的上下文依赖型攻击,需进一步验证。

来源:Hacker News · AI · binghamton.edu