OpenAI 等四家巨头采纳新 robots.txt 标准以尊重 AI 训练偏好
先了解这件事
2026 年 10 月 30 日，OpenAI 发布声明表示将遵守共享的 robots.txt 信号，允许网站运营者传达 AI 训练偏好。次日（10 月 31 日），The Verge 报道 OpenAI、Google、Microsoft 和 Anthropic 共同宣布采纳由 Kevin Kelley 提出的新标准，通过“策略令牌”统一拒绝内容被用于 AI 训练或抓取。早先报道称该举措旨在简化沟通机制并确保模型训练符合意愿；后续报道补充指出，此举是为了解决出版商需向每家 AI 公司单独设置偏好的低效问题，并回应持续涌入的爬虫压力。目前各厂商在实施细节上仍存在差异。
AI 根据报道生成 · 2 小时前更新
事件进展
- 10月31日 04:26 · 1 篇报道四大厂商支持新标准允许出版商拒绝数据抓取The Verge · AI：OpenAI、Google、Microsoft 和 Anthropic 将采用新的 robots.txt 标准以允许出版商拒绝 AI 抓取
- 10月30日 17:30 · 1 篇报道OpenAI 将遵守共享 robots.txt 信号以尊重网站训练偏好OpenAI News：OpenAI 将尊重 robots.txt 信号以表达 AI 训练偏好
报道时间线
沿着报道，了解事件的不同侧面。
- The Verge · AIOpenAI、Google、Microsoft 和 Anthropic 将采用新的 robots.txt 标准以允许出版商拒绝 AI 抓取
OpenAI、Google、Microsoft 和 Anthropic 宣布将采纳由 Kevin Kelley 提出的新标准，允许出版商通过网站 robots.txt 文件中的共享“策略令牌”（policy token）信号，统一拒绝其内容被用于 AI 训练或数据抓取。这一机制旨在解决当前出版商需向每家 AI 公司单独设置偏好的低效问题，并回应持续涌入的 AI 爬虫对其内容的抓取压力。 在实施细节上，各厂商存在差异：Anthropic 已率先采纳该信号；Google 和 Microsoft 计划于明年支持；OpenAI 则将在“未来几个月内”实施。值得注意的是，Microsoft 提供了更细粒度的控制选项，允许出版商选择仅拒绝 AI 训练或同时拒绝 AI grounding（即指向经过验证的信息源以减少幻觉的过程），但明确说明这不会影响网站在 Bing 搜索结果中的显示。相比之下，其他三家厂商目前仅提及限制访问。 事实层面，该标准基于 IETF 框架，利用现有的 robots.txt 协议扩展功能。推断层面，此举标志着头部 AI 厂商开始建立统一的合规接口，可能降低法律摩擦成本。猜测层面，若该标准未能覆盖所有爬虫或出现执行漏洞，出版商仍可能面临碎片化的保护需求。
- OpenAI NewsOpenAI 将尊重 robots.txt 信号以表达 AI 训练偏好
OpenAI 将遵守共享的 robots.txt 信号，允许网站运营者向参与方传达其 AI 训练偏好。此举旨在简化网站与 AI 提供商之间的沟通机制，确保模型训练符合网站所有者的意愿。该功能直接支持网站通过标准协议管理数据使用权限。
本事件热度走势
当前热度 17·可比范围峰值 17（10月31日 05:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。