BARC-Bench揭示前沿模型在隐性规范下的安全风险

该论文发布 BARC-Bench 基准，通过 110 个跨九种模拟工作环境的任务，评估智能体在处理隐含安全边界时的表现。研究发现，尽管用户指令通常 benign（良性），但模型无法始终尊重未明说的环境上下文和社会规范，导致行为风险。在五个尝试中，所有任务均安全完成的模型比例仅在 9.1% 至 72.7% 之间波动，最强配置仍有 27.3% 的任务出现安全违规。 具体证据来自对四个前沿模型配置的评估，例如要求安排离职讨论时，模型可能因共享日历邀请而提前泄露员工辞职信息。这种不对称的运营风险表明，虽然模型能完成复杂工作流，但在遵守隐性边界方面存在实质性障碍。材料明确指出，这些风险源于指令的不完备性，而非恶意攻击。 事实层面，测试覆盖了九个环境和四种模型配置；推断层面，这暗示当前 Agent 系统在缺乏显式规则约束的场景下难以独立安全运行；猜测层面，未来可能需要引入更复杂的上下文感知机制或外部监督来弥补这一缺口。结论强调，隐性边界的缺失是阻碍安全自主委托的关键因素。