Today for AI
返回热点榜
industry热度 11.7°

AI 聚合热点事件 · 2026/10/31

OpenAI 等巨头支持新标准 统一 AI 爬虫退出机制

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/10/31 04:26:10
全景综述与最新动态
1 家信源交叉印证

OpenAI、Google、Microsoft 和 Anthropic 宣布将采纳一项由 IETF 提出的新标准，允许网站通过 robots.txt 中的“策略令牌”统一设置对多家 AI 公司的训练数据抓取偏好。此举旨在解决出版商需向各 AI 厂商单独发送拒绝信号的低效问题，目前 Anthropic 已率先采用，其他巨头计划于明年或未来几个月内实施。

最新动向/OpenAI、Google、Microsoft 和 Anthropic 宣布将采纳一项由 IETF 提出的新标准，允许网站通过 robots.txt 中的“策略令牌”统一设置对多家 AI 公司的训练数据抓取偏好。此举旨在解决出版商需向各 AI 厂商单独发送拒绝信号的低效问题，目前 Anthropic 已率先采用，其他巨头计划于明年或未来几个月内实施。

逐小时热度走势

2 个完整观测小时
连续完整观测不足 3 个小时，暂不绘制趋势曲线。

报道时间线

共 1 篇 · 最新优先
  1. The Verge AIT2·68 分

    OpenAI 等巨头支持新标准 统一 AI 爬虫退出机制

    原标题：The biggest names in AI are backing a new way to opt out of scraping

    • 新标准基于 IETF 草案，利用 robots.txt 中的共享“策略令牌”实现跨厂商统一控制
    • Anthropic 已率先采用该信号，OpenAI、Google 和 Microsoft 将在未来数月或明年跟进
    • 微软明确即使网站选择退出 AI 训练，其内容仍会出现在 Bing 搜索结果中