CASEL 论文提出基于后果感知的工具调用执行层以降低智能体风险

arXiv cs.CR 发表的 CASEL 论文提出一种模型无关的运行时分配策略，通过校准失败概率、状态依赖后果、可逆性、模糊性和证据新鲜度五个维度，为每个工具调用选择直接执行、验证、沙箱化、澄清、审批或 abstention 中的一种模式。在包含 20 个种子、每个种子 120,000 次测试动作的受控仿真中，该方法将有害副作用轨迹从不确定性排序门的 14.75% 降至 7.02%，平均归一化危害从 0.184 降至 0.123。

对比实验显示，仅按失败概率与后果乘积排序的门虽然达到相似的危害水平（5.82%），但向人类审批发送的动作多 45%；移除可逆性感知路由会使伤害率升至 15.53%；而基于轨迹级风险预算的方法在同等成本下反而增加了伤害至 11.82%。作者明确指出干预有效性是假设而非实测结果，排名仅反映模拟器假设下的规则优劣，未确立部署效果。

事实层面，该研究仅在仿真环境中验证了特定算法组合的有效性，未涉及真实系统部署或具体模型版本。推断上，若将此类细粒度成本最小化逻辑引入生产环境，可能显著降低误报导致的人力干预成本，但需解决模拟器与现实环境的分布差异。猜测部分，当前结论是否适用于长周期复杂任务链仍待验证，且“abstention”等策略在实际业务中的接受度尚不明确。