平台动态2 分钟阅读

Cloudflare 给已验证机器人记「行为账」:AI 抓取官网的通行证在变信任分

2026年10月16日,Cloudflare 宣布对已验证机器人(Verified bots)建立持续行为评估系统:验证身份只是门槛,之后持续观察它是否遵守 robots.txt、收到 429 限流后是否降速,结果汇成可解释的「信任带」。Cloudflare 计划把评分公开到 Radar 并向全部客户开放,由客户自选信任阈值处理抓取流量。

发生了什么

10月16日,Cloudflare 宣布为「已验证机器人」建立一套持续评估系统:不再只回答「你是不是你说的那个机器人」,还要持续观察「验证之后你做了什么」。观察结果会翻译成一个可解释的信任带(trust band),用来描述一个机器人多大程度上持续遵守网站偏好,而不是对它下永久性结论。

验证只是门槛,行为决定信任

Cloudflare 写明,成为 Verified bot 需要满足三条:准确且安全地声明身份;只做自己声称要做的事;不参与滥用行为。文章还区分了两个概念:风险,指某个时刻的请求可能造成危害的可能性,会随瞬间变化;信任,则要靠长期一致的行为积累。作为反例,Cloudflare 提到 2025 年曾把 Perplexity 的机器人移出验证列表,原因是它访问了选择退出抓取的网站,并在请求被拦截后试图绕过控制。

初始信号看什么

  • 是否遵守 robots.txt:对照 RFC 9309,观察爬虫实际流量与网站发布的抓取偏好是否一致。孤立的一次违规不算数,系统看的是反复出现的行为模式。
  • 是否响应 HTTP 429:网站用 429(请求过多)要求降速时,机器人是放慢、暂停,还是照原速率继续发请求;持续降速增分,反复无视减分。

Cloudflare 特别强调:robots.txt 只是底线,不是许可清单——文件没有明令禁止,不代表机器人可以无限访问;当网站通过其他信号表达「不欢迎继续访问」时,负责任的机器人同样应当停下。

对企业官网意味着什么

按 Cloudflare 的说法,该系统目前处于内部试运行阶段,用于积累行为历史;后续计划向全部客户开放,客户可以选择自己的信任阈值来决定如何处理已验证机器人的流量,评分未来还会公开到 Radar。对企业官网的含义是:「我是已验证 AI 爬虫」这张通行证,正在被行为记录替代——抓取方是否尊重你站点的 robots.txt 与限流信号,将成为网站侧可查、可配置的处理依据。

身份核验不是终点。AI 爬虫是否尊重你站点的偏好,这份行为账正在被记录,并将交到网站所有者手里。

来源与适用范围

适用:允许 AI 爬虫抓取官网、或正在评估放行哪些自动化流量的企业网站团队,用于理解 Cloudflare 验证机器人机制的最新变化并自查站点偏好设置。不适用:本文不构成对任何爬虫放行或拦截策略的建议;信任带评分的具体算法与上线时间以 Cloudflare 官方后续公告为准,系统当前处于内部试运行阶段;不涉及 Google、Bing 等其他平台对 AI 爬虫的验证机制;robots.txt 与 429 之外的信号,Cloudflare 表示未来会扩展,本文不做推测。

  1. Continuous accountability for Verified botsCloudflare · 原始日期 2026.10.16 · 读取核对 2026.10.17
把观察,落到你的品牌上。

不知道先看哪一步?
和真人顾问聊清楚。

告诉我们你的品牌和客户问题,一起确认采样范围与下一步。

STARSHORE / TALK TO A HUMAN

联系星岸,真人聊清楚。

扫码添加企业微信,也可以直接给我们打电话。

星岸企业微信二维码,扫码添加客服微信扫一扫,与真人顾问沟通

想了解 AEO,或有一份报告想问明白?
直接和星岸聊聊。

添加企业微信 拨打 186 9492 5456istarshore@gmail.com
预约线下面谈

江苏省苏州市昆山市花桥镇金星路 18 号 A5 栋四层 422 室