跳到正文
原文
arXiv cs.AI· De Wang, Peng Qi·· 5 小时前AI 评分73

论文定义验证器强度与可恢复性作为无人值守智能体自我改进的必要前提

Recoverability and Verifier Strength: Two Measured Preconditions for Unattended Agent Self-Improvement

AI 摘要

该论文提出两个可测量的预条件:验证器强度(Verifier strength)和可恢复性(Recoverability),用于评估智能体平台在无人类干预下进行自我改进的安全性。验证器强度衡量自动化验证器(通常是 LLM judge)与可信参考验证器的一致性,而可恢复性则评估错误变更被撤销的成本及旧行为恢复的程度。研究指出,只有当这两个指标均达标时,变更才能在无人值守下运行。

在实证测试中,作者发现平台上的 LLM 验证器存在严重缺陷:在 37 种设置中有 9 种情况下,无论输入内容如何,它都给出相同的评分且未报错,表明验证器可能看似健康实则无效。此外,关于可恢复性,虽然保存副本的还原能恢复原始行为,但通过重新生成进行的撤销却无法修复已部署变更带来的影响;数据显示,17% 的任务结果因变更而超出正常波动范围,且这种偏差无法通过自动撤销修复。

基于上述事实,论文推断仅保留旧版本并测量验证器强度的变更才适合无人值守流程。这一结论区分了“事实”(如 17% 任务受影响、9/37 验证器失效)、“推断”(需同时满足两条件才能安全运行)与“猜测”(具体阈值设定)。该研究为 AgentOS 架构提供了具体的工程约束,而非泛泛的安全建议。

来源:arXiv cs.AI · arxiv.org