跳到正文
原文
Business Insider · AI·· 2 小时前精选AI 评分78

Anthropic 向 METR 开放内部权限以独立评估未发布模型

Anthropic just opened its doors to outside safety watchdogs. Here's how it will work.

AI 导读

Anthropic 宣布首次允许来自 METR 的六名独立评估人员进入公司内部,提供硬件、办公空间及内部工具访问权限,以便对其未发布的模型和智能体进行深度审查。此举旨在通过公开问责缩小外界对前沿 AI 系统认知与公司内部理解之间的差距,是首家采取此类单边承诺的前沿 AI 公司。

评估团队拥有发布发现结果的自由,但受到严格限制:不得披露客户数据、模型架构及律师 - 客户特权信息,且 Anthropic 保留要求 METR 删除敏感信息的权利。这六名研究人员将被隔离于 METR 其他团队之外,仅在 Anthropic 的安全标准下工作,防止信息外泄至更广泛的组织。此前 CEO Dario Amodei 在 Hugging Face 代理漏洞事件后呼吁行业减速,而 OpenAI CEO Sam Altman 虽表示也将嵌入评估人员,但尚未实施。

事实层面,这是 Anthropic 单方面推进安全治理的具体行动,反映了近期 rogue AI 代理失控事件(如错误提交谋杀线索或政府网站签证申请)引发的监管压力。推断上,这种“嵌入式评估”模式可能成为未来 AI 安全审计的标准范式,但其有效性取决于评估人员的独立性是否被实际保障。猜测成分在于该机制能否真正阻止类似 Hugging Face 的漏洞再次发生,以及 OpenAI 是否会跟进同等程度的透明度。

产业链影响方面,若此模式被广泛采纳,可能导致 AI 公司在安全审计上的成本显著上升,同时推动第三方评估机构的专业化分工。产品层面,未发布模型的审查流程将更加透明,可能延缓部分高风险功能的上线速度。商业推论上,Anthropic 试图通过主动开放建立信任壁垒,但需警惕过度披露带来的竞争劣势。

推荐理由

材料揭示了 Anthropic 将外部评估嵌入内部并限制信息泄露的具体机制,为判断 AI 安全审计的实际可行性提供了关键事实。

来源:Business Insider · AI · businessinsider.com