OpenAI、Google、Microsoft 和 Anthropic 将采用新的 robots.txt 标准以允许出版商拒绝 AI 抓取

OpenAI、Google、Microsoft 和 Anthropic 宣布将采纳由 Kevin Kelley 提出的新标准，允许出版商通过网站 robots.txt 文件中的共享“策略令牌”（policy token）信号，统一拒绝其内容被用于 AI 训练或数据抓取。这一机制旨在解决当前出版商需向每家 AI 公司单独设置偏好的低效问题，并回应持续涌入的 AI 爬虫对其内容的抓取压力。

在实施细节上，各厂商存在差异：Anthropic 已率先采纳该信号；Google 和 Microsoft 计划于明年支持；OpenAI 则将在“未来几个月内”实施。值得注意的是，Microsoft 提供了更细粒度的控制选项，允许出版商选择仅拒绝 AI 训练或同时拒绝 AI grounding（即指向经过验证的信息源以减少幻觉的过程），但明确说明这不会影响网站在 Bing 搜索结果中的显示。相比之下，其他三家厂商目前仅提及限制访问。

事实层面，该标准基于 IETF 框架，利用现有的 robots.txt 协议扩展功能。推断层面，此举标志着头部 AI 厂商开始建立统一的合规接口，可能降低法律摩擦成本。猜测层面，若该标准未能覆盖所有爬虫或出现执行漏洞，出版商仍可能面临碎片化的保护需求。