官网内容会被拿去训练 AI 吗：Google 的两层 robots.txt 控制与 2027 年共享令牌

官网内容会不会被拿去训练 AI，正变成要明确表态的开关。2026 年 10 月 30 日，Google 搜索中心博客公告：计划支持写在 robots.txt 里的共享 AI 训练控制，让网站一步向多家 AI 提供商表达训练偏好；方案基于 IETF AIPREF 工作组的工作，并建立在 Google 自 2023 年起提供的 Google-Extended 控制之上。

共享令牌怎么运作

按公告口径，网站不必再为每家 AI 开发商单独维护指令：在 robots.txt 使用共享的「policy token」，即可对参与的 AI 提供商设置宽泛偏好。当网站用该令牌退出训练、且未显式写明 Google-Extended 时，Google 计划将其解读为视同 disallow Google-Extended；其他提供商可类似处理。已有的公司专属控制将与新共享信号并存，网站既可一刀切退出，也可逐家挑选。

Google-Extended 管什么、不管什么

Google 抓取文档把 Google-Extended 定义为独立的产品令牌：它没有独立的抓取 User-Agent，抓取仍由现有 Google 抓取工具完成，令牌只在 robots.txt 里起控制作用。它管理两件事：Google 抓取的内容能否用于训练驱动 Gemini 应用与 Vertex AI Gemini API 的下一代 Gemini 模型，以及能否用于 Gemini 应用与 Vertex AI 的 grounding（提示时从搜索索引取内容喂给模型）。

边界同样清楚：Google-Extended 不影响网站在 Google 搜索中的收录，也不作为排名信号；显式允许它的网站，才有资格出现在 Gemini 应用的回答里、并通过 grounding 获得点击。

• 打开官网 robots.txt，确认有没有 Google-Extended 规则，是允许、禁止还是未表态。
• 核对规则落在正确的 user-agent 组里，路径只覆盖打算管控的目录。
• 把共享令牌列入观察：Google 抓取文档注明意向在 2027 年初支持 AIPREF 共享信号（user-agent: __usage_ai-training），届时两层规则要一起核对。

时间线与边界

这仍是草案提案：公告称多方讨论仍在就 AIPREF 其余词汇继续推进，Google 目标 2027 年与其他 AI 提供商一起支持这一控制；提案与欧盟 AI 法案下通用目的 AI 模型提供商行为准则一致，该准则认可 robots.txt 是发布者表达机器可读偏好的主要方式。令牌名称与支持时间可能随标准化调整。