先问一个问题：谁在爬你的官网，你确定吗
企业做 AI 可见度自查，常停在 robots.txt 有没有意外挡住抓取。但前面还有个前提：哪些 AI 爬虫真的来过、频率如何，多数网站答不上来。Cloudflare 2025 年 5 月 15 日的公告点破了识别层的弱点：业界识别合法爬虫历来靠两个信号——User-Agent 头和 IP 地址，而 UA 头可以随意伪造，单独不足以证明「我是善意爬虫」。
同一篇公告给出替代方案：HTTP Message Signatures 与 request mTLS 让 AI 智能体等「友好机器人」用密码学签名自证身份——发送请求前先对目标域名签名，Signature-Agent 头指明公钥获取位置，网站或反向代理即可代为验证。公告称调试服务器按 RFC 9421 Ed25519 密钥验签，OpenAI 当时已开始对其请求做签名。识别标准正从「自己声明」转向「自己证明」。
控制面：从一刀切，到按单个爬虫放行或拦下留话
身份之外还有控制。2025 年 8 月 28 日，Cloudflare 宣布 AI Crawl Control 从 beta 转为正式可用（GA），由早先的 AI Audit 更名而来，官方称定位从监控升级为「洞察与控制内容访问」。站长可按单个 bot 粒度拦截，并附带自定义信息：向该爬虫返回 HTTP 402（Payment Required）状态码，在消息里写明授权联系邮箱或 API 定价页入口——把「拒绝」变成一条可谈判的通道。
- Cloudflare 将当年 7 月 1 日定为「Content Independence Day」：创作者应掌握内容被访问和使用的方式；
- 可自定义的 402 响应面向所有付费 Cloudflare 客户开放，不限于 Pay Per Crawl 用户；
- 官方口径：平均每天，Cloudflare 客户发出的 402 响应码超过 10 亿个；
- Pay Per Crawl 仍在 beta，按用量对爬虫访问自动计费；官方称未来计划让 402 响应携带内容价值、新鲜度与授权条款等结构化参数。
企业官网现在能做的三个核对
- 先看数据再决定：官网若在 Cloudflare 或同类服务上，先调出 AI 爬虫访问记录，弄清哪些爬虫真的来过再决定放行或拦截，而不是凭传闻一刀切；
- 要拦就留通道：若拦截部分 AI 爬虫，用 402 自定义消息留下授权与联系入口，别把「拒绝抓取」做成「拒绝一切谈判」；
- 盯住规则兼容性：核对反爬规则是否会误伤已按新标准签名的正规智能体流量，官方已提供符合 RFC 9421 的示例与辅助包。
边界提示：以上均为 Cloudflare 平台侧能力，未接入其服务的网站不直接适用；Web Bot Auth 公告发布时处于 closed beta，标准仍在演进。放开抓取不等于被 AI 引用，本文不做效果承诺。
来源与适用范围
适用：托管在 Cloudflare 或类似反向代理服务上、正在决定如何对待 AI 爬虫的企业官网，以及想把「抓取层自查」从 robots.txt 检查推进到「谁在爬、怎么控」的站长。不适用：未接入此类平台的网站（文中工具不可直接用）、以国内云 WAF/防火墙承载的站点（机制需另行核查）。本文两条来源均为 Cloudflare 官方博客（2025-05-15、2025-08-28），机制描述限于 Cloudflare 官方口径，不推断其他平台采用相同标准；Web Bot Auth 公告发布时处于 closed beta，标准与实现可能变化。与已发布稿件划界：《Cloudflare 给已验证机器人记「行为账」》讲爬虫侧信任分体系，本篇讲站长侧控制面板与 402 授权通道；《Cloudflare Pay Per Use》讲内容变现产品，本篇仅引用官方对 Pay Per Crawl 的现状表述作背景。放开抓取不保证被抓取、索引或被 AI 引用，本文不做任何效果承诺。
- The next step for content creators in working with AI bots: Introducing AI Crawl ControlCloudflare Blog · 原始日期 2025.08.28 · 读取核对 2026.11.01
- Forget IPs: using cryptography to verify bot and agent trafficCloudflare Blog · 原始日期 2025.05.15 · 读取核对 2026.11.01
不知道先看哪一步？
和真人顾问聊清楚。
告诉我们你的品牌和客户问题，一起确认采样范围与下一步。