CASEL 提出基于后果感知的工具调用执行层以降低智能体风险
先了解这件事
2026年10月28日,arXiv cs.CR 发表 CASEL 论文,提出一种模型无关的运行时分配策略以降低智能体风险。该策略通过校准失败概率、状态依赖后果、可逆性、模糊性和证据新鲜度五个维度,为每个工具调用选择直接执行、验证、沙箱化、澄清、审批或 abstention 中的一种模式。在包含 20 个种子、每个种子 120,000 次测试动作的受控仿真中,该方法将有害副作用轨迹从不确定性排序门的 14.75% 降至 7.02%,平均归一化危害从 0.184 降至 0.123。
AI 根据报道生成 · 4 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv cs.CRCASEL 论文提出基于后果感知的工具调用执行层以降低智能体风险
arXiv cs.CR 发表的 CASEL 论文提出一种模型无关的运行时分配策略,通过校准失败概率、状态依赖后果、可逆性、模糊性和证据新鲜度五个维度,为每个工具调用选择直接执行、验证、沙箱化、澄清、审批或 abstention 中的一种模式。在包含 20 个种子、每个种子 120,000 次测试动作的受控仿真中,该方法将有害副作用轨迹从不确定性排序门的 14.75% 降至 7.02%,平均归一化危害从 0.184 降至 0.123。 对比实验显示,仅按失败概率与后果乘积排序的门虽然达到相似的危害水平(5.82%),但向人类审批发送的动作多 45%;移除可逆性感知路由会使伤害率升至 15.53%;而基于轨迹级风险预算的方法在同等成本下反而增加了伤害至 11.82%。作者明确指出干预有效性是假设而非实测结果,排名仅反映模拟器假设下的规则优劣,未确立部署效果。 事实层面,该研究仅在仿真环境中验证了特定算法组合的有效性,未涉及真实系统部署或具体模型版本。推断上,若将此类细粒度成本最小化逻辑引入生产环境,可能显著降低误报导致的人力干预成本,但需解决模拟器与现实环境的分布差异。猜测部分,当前结论是否适用于长周期复杂任务链仍待验证,且“abstention”等策略在实际业务中的接受度尚不明确。
本事件热度走势
当前热度 9·可比范围峰值 9(10月28日 14:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。