跳到正文
原文
TechCrunch · AI· Julie Bort·· 3 小时前精选AI 评分82

Anthropic 在 S-1A 中警告即将达到递归自我改进能力阈值

Anthropic warns that it’s very close to RSI capability, aka self-building AI

AI 导读

Anthropic 在其修订版 S-1A 文件中首次明确定义并警告公司正接近“递归自我改进”(RSI)能力阈值,即 AI 系统加速自身研发导致能力呈指数级增长且可能超出人类监控范围的时刻。文件指出,尽管尚未有模型正式跨越该门槛,但内部评估显示未来模型可能立即满足其负责任扩展政策中关于“由 AI 驱动的戏剧性加速进步”的定义。

关键证据在于风险因素章节的披露:Anthropic 承认过去曾利用 AI 开发新模型,却未能及时识别当时发生的显著能力跃迁;同时警示随着 AI 在研发中的使用增加,模型能力的提升速度可能快于安全、对齐和验证措施的开发进度。这种“事后才发现加速”的机制意味着当前的安全基准可能已经滞后,且公司计划更新政策以确保在可预见的未来保持人类对前沿模型开发的控制。

事实层面,Anthropic 确认目前无模型已突破 RSI 阈值且承诺保留人类监督;推断层面,这标志着行业从理论担忧转向承认技术失控风险已进入实际运营阶段,特别是当企业将 AI 深度嵌入研发闭环时;猜测层面,若 RSI 阈值被触发,现有的合规框架可能需要重构以应对不可预测的迭代速度,但这取决于后续政策更新的具体执行力度。

推荐理由

文件将 RSI 定义为可量化的内部阈值并承认已发生未识别的能力跃迁,直接修正对 Anthropic 安全对齐滞后风险的判断。

来源:TechCrunch · AI · techcrunch.com