为什么 AI 时代还要看爬虫标识
企业做 AI 可见度自查通常从内容开始，但第一道关口是抓取：官网有没有被对应的爬虫读到、有没有被 robots.txt 误挡。Google 的《Google's common crawlers》把常见爬虫逐个列出，并说明清单不穷尽，只覆盖更可能出现在日志里、且官方收到过询问的请求方。同一份 robots.txt，写不同令牌影响的产品完全不同。
令牌与产品的对应关系
文档写明，面向 Googlebot 的抓取偏好会影响 Google 搜索（含 Discover 与所有 Google 搜索功能），以及 Google Images、Google Video、Google News 等产品；Googlebot-Image 只影响图片、logo、favicons 出现的场景。Googlebot-News 没有独立的 HTTP 请求 user agent，实际用各种 Googlebot 字符串抓取，只在 robots.txt 里用这个令牌。
另外三类容易被忽略：GoogleOther 是通用爬虫，可能被多个产品团队用来抓取公开可访问内容（例如内部研发的一次性抓取），针对它的偏好不影响任何特定产品；Google-InspectionTool 只影响富结果测试、Search Console 网址检查这类测试工具，对 Google 搜索本身没有影响；Google-Extended 是独立产品令牌，管理 Google 抓取的内容能否用于训练未来代次 Gemini 及 grounding，官方明确它不影响收录，也不作为排名信号。
robots.txt 的三条解释规则
Google 的解释规范文档给出三条最容易踩坑的规则：一是文件必须放在站点顶层目录，规则只对其所在的 host、协议、端口生效，子目录里的 robots.txt 不会被检查；二是一个爬虫只认一个组，Google 选取 user agent 最具体的那个组，其余忽略，组的先后顺序无关；三是规则冲突时按路径长度取最具体的一条，仍冲突则采用限制最少的。
抓取层的令牌与写法是可以核对的事实，AI 回答里的引用结果不是承诺项；先确认信号送达，再谈可见度。
- 从日志按 user agent 分组统计，确认 Googlebot、GoogleOther、Google-Extended 各自命中情况
- 核对 robots.txt 是否在根目录、是否只对目标主机与协议生效
- 检查多个 user-agent 组是否互相覆盖，尤其全局组 * 与专属组不合并造成的意外放行
- 确认被屏蔽页面是否仍因站外链接出现在结果里；要真正不出现应改用 noindex 或密码保护
- 把 Google-Extended 的取舍当作训练与 grounding 的独立决策，不要当成排名开关
抓取层的令牌与写法是可以核对的事实，AI 回答里的引用结果不是承诺项；先确认信号送达，再谈可见度。
来源与适用范围
适用：有官网服务器日志与 robots.txt 维护能力、想把抓取层信号做一轮自查的企业站长与内容团队；文中令牌含义与解释规则均来自 Google 官方文档对 Google 爬虫的陈述。不适用：不代表 Bing、百度、豆包、ChatGPT 等其他引擎或 AI 产品对这些令牌的实现方式，各家需查各自文档；robots.txt 与爬虫令牌只影响抓取与产品适用范围，不构成进入 AI 回答、提升引用或任何排名结果的承诺；Google-Extended 只对应 Gemini 训练与 grounding 的取舍，与 Google 搜索收录和排名无关；文档标注的 Last updated 日期为官方页面更新时间，规则可能后续变更，执行前以当日原文为准。
- Google's common crawlersGoogle Search Central Documentation · 原始日期 2026.07.14 · 读取核对 2026.10.14
- How Google interprets the robots.txt specificationGoogle Search Central Documentation · 原始日期 2026.08.31 · 读取核对 2026.10.14
- Introduction to robots.txtGoogle Search Central Documentation · 原始日期 2025.12.10 · 读取核对 2026.10.14
不知道先看哪一步？
和真人顾问聊清楚。
告诉我们你的品牌和客户问题，一起确认采样范围与下一步。