官网切CDN当天爬虫流量暴涨，还差点把Googlebot拦在门外：Google官方的三个对策

上线当天，爬虫流量反而暴涨

11月11日，Google搜索中心发布《Moving to a CDN without overwhelming your origin (or blocking Googlebot)》，瞄准企业官网换CDN时最常见的事故窗口：站点刚挂上CDN，源站收到的爬虫流量就几乎立刻暴涨，恰好和换CDN想「给源站减负」的目标相反。

机制出在Google计算抓取容量上限（hostload）的方式上：抓取系统持续监测服务器响应速度——响应变慢，抓取就降速；响应快且稳定，系统就判定基础设施健康、逐步提高抓取速率。DNS指向CDN边缘网络的那一刻，连接与响应时间骤降，在抓取系统看来就像服务器刚做了一次硬件升级，于是自动提速。

问题在于，全新CDN的缓存是空的。每个URL的首次请求都是缓存未命中，边缘节点必须一路走回源站取内容才能响应。人类访客集中在少数热门页面，缓存很快捂热；爬虫却系统性扫全量URL清单——所以在边缘缓存预热完成前，CDN还起不到盾牌作用，源站仍在扛重活。

第二个坑：一刀切反机器人，把Googlebot也拦下

流量暴涨容易让管理员紧张，直接在CDN或WAF上开启一刀切的机器人防护。没有豁免的规则会对所有自动化流量下发CAPTCHA人机验证，而Google的爬虫通不过这种测试，只能停在错误页。在Google看来，这等于网站主动限制或损坏了自己；放任不管，爬虫会退避，页面和购物列表会被搜索逐步剔除。

官方三个对策

• 放行已验证机器人：主流CDN和WAF都内置已验证机器人的开关或托管规则，Google爬虫可通过官方公布的IP段核验身份；也可以用robots.txt和规则只精准拦截不想要的机器人。
• 先预热缓存：在把全部流量切到新CDN之前，以受控节奏把高流量页面、即将迎峰的页面和被频繁抓取的URL先通过CDN拉取一遍，让边缘缓存提前就位。
• 用429或503临时刹车：缓存预热期间源站负载仍然过高时，配置限流规则在短时间窗口内返回429（请求过多）或503（服务不可用），官方建议窗口为数小时、最长一到两天。