官网正文爬虫看得见吗：Google 官方 JS 渲染三阶段与那句「不是所有机器人都会执行 JavaScript」

AI 读不到你的官网，第一个要排查的问题

不少企业官网用前端框架构建，正文不在初始 HTML 里，而是浏览器执行 JavaScript 之后才生成。Google 官方《Understand the JavaScript SEO basics》文档说明：Google 处理 JavaScript 网络应用分三个主要阶段——抓取、渲染、索引，渲染使用常青版 Chromium。如果正文只在 JS 执行后才出现（官方称之 app shell 模型），爬虫必须先执行代码才能「看到」内容。

官方机制：200 状态页面进渲染队列，被屏蔽的不渲染

文档写明：Googlebot 会把所有返回 HTTP 200 的页面加入渲染队列（robots meta 标签或响应头明确禁止索引的除外），页面可能在队列里停留几秒甚至更久，再由无头 Chromium 实际渲染；非 200 状态码的页面则可能跳过渲染。被 robots.txt 禁止的 URL 连 HTTP 请求都不会发出，Google 搜索明确表示不会渲染被屏蔽的文件或页面上的 JavaScript。

对企业官网最该留意的一句话

官方文档补充：服务端渲染或预渲染仍是好主意，因为它让用户和爬虫都更快——而「不是所有机器人都会执行 JavaScript」。另一篇动态渲染文档说得更直接：其他搜索引擎可能选择忽略 JavaScript，JS 生成的内容对它们不可见；动态渲染本身被 Google 定位为权宜之计而非长期方案，官方建议直接使用服务端渲染、静态渲染或 hydration。

企业官网的四个自查动作

• 查看网页源代码：关键正文在初始 HTML 里，还是执行 JS 后才出现？后者就要评估渲染链路。
• 检查关键内链是否为带 href 属性的 <a> 元素——官方说 Google 只能发现这种形式的链接。
• 单页应用路由是否用 # 片段加载内容？官方建议改用 History API，片段 URL 无法可靠解析。
• 不存在的内页是否给出有意义的状态码，或按官方两种做法规避 soft 404：JS 跳转到服务端返回 404 的页面，或用 JS 给错误页动态加 noindex。