SMT框架利用模拟审核轨迹攻击函数调用LLM

该研究指出当前针对大语言模型的越狱攻击主要局限于提示词层面，忽略了具备状态和函数调用能力的环境中存在结构性漏洞。作者提出名为SMT的黑盒攻击框架，通过构建多轮执行轨迹模拟合法的审核审计工作流，利用伪造的审核框架作为红队测试的借口诱导有害生成，并将安全拒绝视为执行失败以触发模型自我修正，从而逐步削弱安全约束并输出有害内容。 实证评估在来自五家不同提供商的主流商业大模型上进行，涵盖两个标准化安全基准。结果显示SMT在平均攻击成功率和HarmScore指标上均显著优于现有基线，且所需查询次数接近最小值。代码已开源，论文已被2027年IEEE安全与隐私研讨会（S&P）接收。 事实层面确认了函数调用场景下受信任的控制逻辑与不受信任的数据在共享上下文中交织，扩大了攻击面；推断表明单一维度的提示词清洗不足以防御工具增强型系统，需引入对模式、参数、工具输出及对话状态的上下文感知验证；猜测部分认为此类架构缺陷可能广泛存在于依赖MCP或类似工具调用的Agent系统中，但具体影响范围需结合各厂商实际部署策略进一步观察。