NTBench 基准测试显示大语言模型与智能体易受近目标提示注入攻击

论文提出 NTBench（Near-Target Benchmark）基准，专门评估大语言模型和智能体抵抗“近目标提示注入”的能力，即攻击指令试图生成看似合法但包含错误或有害内容的响应。研究指出，传统基准测试往往只关注完全拒绝用户请求的攻击，而忽略了那些保留了大部分合法答案框架却引入关键错误的隐蔽攻击。该基准基于现有数据集的合法任务构建，通过参考结果生成目标指令对，分别针对导致错误结果和有害结果的两种轨道进行评估。

实验在十个语言任务数据集和两个智能体基准上评估了七个大语言模型。在每样本三次攻击尝试的共同预算下，所有模型在近目标攻击下的成功率均高于固定目标基线。具体而言，在语言任务中，错误目标的攻击成功率提升了 9.3 到 35.8 个百分点，有害目标提升了 1.7 到 17.3 个百分点。这些结果表明，模型对测试过的固定目标攻击的抵抗力，并不能保证能抵御相关的错误或有害结果，且基于参考的目标设定揭示了更多现有的鲁棒性评估未能发现的失败案例。

事实层面，NTBench 确实通过结合 LLM 检查与人工验证来识别偏离，并证实了特定场景下攻击成功率的显著提升。推断层面，这意味着当前主流的对抗训练或安全对齐策略可能过度优化了对明显恶意指令的防御，而忽视了更微妙的逻辑篡改风险。猜测层面，若行业继续依赖现有基准，可能会高估实际部署中智能体处理复杂外部内容时的安全性，需重新审视评估体系以覆盖此类“半合法”攻击向量。