发生了什么
10月16日,Cloudflare 宣布为「已验证机器人」建立一套持续评估系统:不再只回答「你是不是你说的那个机器人」,还要持续观察「验证之后你做了什么」。观察结果会翻译成一个可解释的信任带(trust band),用来描述一个机器人多大程度上持续遵守网站偏好,而不是对它下永久性结论。
验证只是门槛,行为决定信任
Cloudflare 写明,成为 Verified bot 需要满足三条:准确且安全地声明身份;只做自己声称要做的事;不参与滥用行为。文章还区分了两个概念:风险,指某个时刻的请求可能造成危害的可能性,会随瞬间变化;信任,则要靠长期一致的行为积累。作为反例,Cloudflare 提到 2025 年曾把 Perplexity 的机器人移出验证列表,原因是它访问了选择退出抓取的网站,并在请求被拦截后试图绕过控制。
初始信号看什么
- 是否遵守 robots.txt:对照 RFC 9309,观察爬虫实际流量与网站发布的抓取偏好是否一致。孤立的一次违规不算数,系统看的是反复出现的行为模式。
- 是否响应 HTTP 429:网站用 429(请求过多)要求降速时,机器人是放慢、暂停,还是照原速率继续发请求;持续降速增分,反复无视减分。
Cloudflare 特别强调:robots.txt 只是底线,不是许可清单——文件没有明令禁止,不代表机器人可以无限访问;当网站通过其他信号表达「不欢迎继续访问」时,负责任的机器人同样应当停下。
对企业官网意味着什么
按 Cloudflare 的说法,该系统目前处于内部试运行阶段,用于积累行为历史;后续计划向全部客户开放,客户可以选择自己的信任阈值来决定如何处理已验证机器人的流量,评分未来还会公开到 Radar。对企业官网的含义是:「我是已验证 AI 爬虫」这张通行证,正在被行为记录替代——抓取方是否尊重你站点的 robots.txt 与限流信号,将成为网站侧可查、可配置的处理依据。
身份核验不是终点。AI 爬虫是否尊重你站点的偏好,这份行为账正在被记录,并将交到网站所有者手里。
来源与适用范围
适用:允许 AI 爬虫抓取官网、或正在评估放行哪些自动化流量的企业网站团队,用于理解 Cloudflare 验证机器人机制的最新变化并自查站点偏好设置。不适用:本文不构成对任何爬虫放行或拦截策略的建议;信任带评分的具体算法与上线时间以 Cloudflare 官方后续公告为准,系统当前处于内部试运行阶段;不涉及 Google、Bing 等其他平台对 AI 爬虫的验证机制;robots.txt 与 429 之外的信号,Cloudflare 表示未来会扩展,本文不做推测。
- Continuous accountability for Verified botsCloudflare · 原始日期 2026.10.16 · 读取核对 2026.10.17
不知道先看哪一步?
和真人顾问聊清楚。
告诉我们你的品牌和客户问题,一起确认采样范围与下一步。