先问一个问题：谁在抓你的官网
做 AI 可见度自查，企业习惯先检查内容写得清不清楚，却常常跳过更前面的一层：抓取。而抓取层有个前提——你得先分得清日志里的来访者，谁是搜索引擎的真爬虫。以 Bing 为例，官方对 bingbot 的用户代理（User-Agent）有过三次公开变化，把三份公告连起来读，能看到一个容易被忽略的机制。
Bingbot UA：官方公布的三次变化
- 2019 年 10 月：Bing 宣布采用 Microsoft Edge 作为 Bingbot 渲染网页的引擎，并承诺定期升级到最新稳定版 Edge，即所谓“常青”（evergreen）Bingbot。
- 2019 年 12 月：官方公布新一批常青 UA 字符串，桌面与移动两个版本，其中 Chrome 与 Edge 的版本号是占位符，会替换成当时正在使用的最新 Edge 版本。
- 2022 年 4 月：官方再次宣布切换 UA，并明确到 2022 年秋停用历史 UA，即那条熟悉的 Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)。
机制很清楚：bingbot 的完整 UA 字符串会随渲染引擎升级而变化，版本号是变量而非常量。如果防火墙、WAF 或日志工具按“完整 UA 字符串”配置放行名单，官方一次常规升级就可能让真 bingbot 吃满 403，而你在站长后台看到抓取量下滑时，很难第一时间想到原因出在自己的放行规则上。更稳的做法是把匹配条件放宽一档：认 UA 里的 bingbot/2.0 标识与官方说明链接，而不是抄录某一条完整字符串——按完整串匹配，等于把放行规则押在下一次公告之前。
两个官方自查工具
- robots.txt 测试器（Bing Webmaster Tools）：按 Bingbot 与 BingAdsBot 的规则检查指定 URL 是被允许还是被拦截，能分析整个文件并标出影响抓取的问题；支持拉取线上最新版，在编辑器里改完立即复测，编辑器同时给出 http/https、带不带 www 四种变体。
- URL 检查（URL Inspection）：其中的“线上网址测试”从 2022 年起直接使用新版桌面 UA 渲染，可用来提前发现新 UA 下的兼容问题。
自查三步：①在服务器日志里按 bingbot/2.0 关键词统计抓取量，确认你放行的是“标识”而不是某条完整 UA；②用 WMT 的 robots.txt 测试器把核心页面与 sitemap 路径跑一遍；③检查安全设备自定义规则里，有没有按旧 UA 全串写死的放行或拦截条目。
来源与适用范围
本文覆盖“官网 ↔ Bing”环节的爬虫身份识别与抓取放行层，事实以所引 Bing 官方博客各篇发布日（2019—2022 年）为准。UA 字符串与版本号会随引擎升级继续变化，核对时以 Bing 官方公告与 bingbot 说明页为准，本文不代表 Bing 现行政策全貌。适用范围不含：Google 及国内搜索引擎的爬虫标识（另见已发布的 Google 爬虫令牌一文）；bingbot IP 段核验与付费墙内容抓取、缓存策略（另见已发布的付费墙内容一文）；Bing 站长后台的初始配置流程（另见已发布的 WMT 四步自查一文）。文中的匹配与自查建议是基于公告机制给出的操作判断，不构成效果承诺：正确识别爬虫只恢复正常抓取，不保证索引或 AI 引用结果。
- The new evergreen Bingbot simplifying SEO by leveraging Microsoft EdgeBing Webmaster Blog · 原始日期 2019.10.09 · 读取核对 2026.11.01
- Announcing future user-agents for BingbotBing Webmaster Blog · 原始日期 2019.12.16 · 读取核对 2026.11.01
- Announcing user-agent change for Bing crawler bingbotBing Webmaster Blog · 原始日期 2022.04.28 · 读取核对 2026.11.01
- Bing Webmaster Tools makes it easy to edit and verify your robots.txtBing Webmaster Blog · 原始日期 2020.09.04 · 读取核对 2026.11.01
不知道先看哪一步？
和真人顾问聊清楚。
告诉我们你的品牌和客户问题，一起确认采样范围与下一步。