两边都得有窗口

Cloudflare 过去只给网站主人提供工具,现在开始给爬虫运营方也建一套。

Cloudflare 是全球最大的网络基础设施公司之一,互联网上很大一部分网站的流量都要经过它。它一直在帮网站主人分辨哪些访问是真人、哪些是程序自动抓取,然后决定放行谁、拦住谁。

它的 BotBase 就是这套工具的核心:一个已知机器人的名录,网站主人可以在里面搜索、查看,决定对某个爬虫开门还是关门。但名录只解决了一半问题。

另一半是:爬虫这边也得有人说话。一个搜索引擎的抓取程序、一个 AI 助手的取页程序,需要一个渠道说清楚自己是谁、在干什么、抓到内容后用来做什么。过去这个渠道只有一张提交表单,按下提交之后就什么都没有了。

Cloudflare 这次上线的 BotBase for Operators 补的就是后半截:从一张表单,变成一个能查状态、能改内容、能知道被拒原因的自助窗口。

表单搬了家

提交入口从账户设置里挪到了安全工具区,和其他机器人工具放在一起。

这听着像个无关紧要的改动,但它反映的是定位变化。过去这张表单藏在「管理账户 → 配置」下面,归属逻辑是「这是你账户的一项设置」。现在它挪到了「防护与连接 → 应用安全 → BotBase」,归属逻辑变成了「这是机器人生态的一部分」。

新的位置下分了三块:

  1. 机器人名录:浏览、搜索、筛选 Cloudflare 已经在追踪的所有机器人
  2. 提交表单:提交一个新的机器人
  3. 提交历史:查看你提交过的全部记录

第三块是过去完全不存在的东西。

黑箱被打开

提交完能看到状态了:等待审核、已通过、被拒绝,被拒会告诉你原因和怎么改。

Cloudflare 说,他们和很多爬虫运营方聊过,反馈高度一致:

提交一个机器人就像扔进黑箱。你填完表、按下提交、然后等着,完全没法知道后续发生了什么。

过去要问一句「我那个机器人审了没」,唯一的办法是给客服发邮件。

现在提交历史页会显示每一条的状态。被拒绝的那条,点开能看到具体是哪里不合格、该怎么改,改完重新提交。被通过但分类被调整过的,也能看到 Cloudflare 改了什么。

名录页面还多了一个「我的机器人」筛选,能只看当前账户提交过的那些。

这里有个小限制值得注意:能看到记录的是从今天上线开始的提交,更早的历史不在其中。

之前 之后 提交后 没有任何反馈 可查三种状态 查进度 给客服发邮件 自己在页面看 被拒后 不知道为什么 给出原因和改法 改信息 整表重填一遍 直接编辑原记录
BotBase for Operators 上线前后,爬虫运营方体验的四项变化。原文称过去运营方「只能给客服发邮件询问是否已审核」。

信息可以改了

机器人的身份信息变了,现在能直接编辑原记录,不用重新提交一份全新的。

机器人的身份凭证不是一成不变的。举个实际会发生的情况:你重做了网站,存放 IP 列表(一份公开的地址清单,网站靠它确认「来访的确实是你,不是别人冒充」)的网址跟着换了;或者你从「亮出 IP 地址证明身份」改成了给流量加密签名。这两种情况下,名录里的旧信息就对不上了。

过去唯一的办法是把整张表重填一遍,生成一条全新的记录。现在可以直接编辑已提交的那条。还在等待审核的,也可以撤销。

Cloudflare 强调了保持信息准确的实际好处:这直接影响你的机器人能不能拿到并保住「已验证」状态。而这个状态越来越决定了 Cloudflare 网络上的网站能不能顺手放你进来。最终决定权仍在每个网站主人手里,Cloudflare 只提供判断依据,不替网站做决定。

三个问题代替一个标签

新表单不再让你从一堆标签里挑一个最接近的,而是问你三件事:干什么、抓到的内容拿来做什么、谁在运营。

这是整次更新里最实质的改动。

过去的做法是给每个机器人贴一个标签,比如「搜索爬虫」「AI 爬虫」。问题是现实中的机器人经常同时干好几件事,硬塞进一个标签,网站主人拿到的信息就是失真的。

第一问,你的机器人做什么。可以多选:抓页面建搜索索引、代表用户去执行任务、收集数据、训练模型、支撑 SEO 工具。所有符合的都选上,不是挑最接近的那个。

第二问,它拿抓到的内容做什么。这一问和第一问的区别是关键:一个爬虫抓取页面只为了提取一段搜索摘要,和一个爬虫把整页存下来用于训练模型,行为动作看着一样,内容用途天差地别。Cloudflare 用的是和网站主人同一套 内容信号(网站在 robots.txt 里写给爬虫的一份声明,说明自己的内容允许被用来做什么)标准。比如一个网站可能写着「可以索引进搜索、可以留存引用,但不许拿去训练模型」,你的声明就是拿来和这条规则逐项比对的。

第三问,谁在实际运营。分两种:如果是你自己的服务器直接跑,比如搜索引擎抓网页建自家索引,那是「直接运营」;如果你提供的是一个平台、别的公司在上面搭产品,流量经你发出但决定权不在你,那是「中间方」。

Cloudflare 举的例子很具体:一个通用 AI 助手去抓某个网页,是因为有人在另一家公司用它的接口做的 App 里问了个问题。助手方跑着基础设施,但决定发出这次请求的是别人的产品。

爬虫运营方 填写申报表 申报 申报 申报 问一:做什么 建索引/代用户执行/ 收数据/训模型,可多选 问二:内容怎么用 只提摘要?留存引用? 还是训练模型? 问三:谁在运营 自己跑=直接; 别人的产品借道=中间方 逐项比对 网站的内容规则 写在 robots.txt 里的允许/不允许 规则由网站自己设 作为判断依据 作为判断依据 网站主人 看完三项信息自己决定放不放
新表单把一个标签拆成三问,其中「内容怎么用」这一问直接和网站写在 robots.txt 里的规则逐项比对。三问的具体选项均来自 Cloudflare 原文描述。

人工审核换成机器审核

新机器人的申请量三年涨了 7 倍,Cloudflare 把逐条人工审核改成了自动校验。

过去每一份提交都走同一条路:团队里的某个人拿着内部评分标准逐条检查,然后做判断。这种审核很细致,但量一大就撑不住了。

现在提交进来会先跑一串自动检查:

  1. 是不是和已追踪的某个机器人重复了
  2. 你的标识特征够不够独特,会不会和已注册的某个机器人撞上
  3. 最关键的一条,你声称的验证方式经不经得起查

第三条是自动跑的:Cloudflare 去拉你提供的 IP 列表、核对反向域名解析、验证你的加密签名,这些原本都是人手工做的。

全部过关的,机器人当场进入追踪名录。有疑点的才转给人工,而且转过去的时候已经附上了具体是哪一项可疑,不再是队列里一条什么信息都没有的空白条目。

结果是大多数提交比过去快。

7倍 新机器人年提交量,2023 至今的增幅
Cloudflare 称新机器人的年提交量自 2023 年起增长约 7 倍,这是它放弃全人工审核的直接原因。

这是在建一套准入秩序

Cloudflare 正在把「网站单方面拦截爬虫」变成「爬虫申报、平台核验、网站决定」的三方流程,而它自己坐在中间。

这次更新表面上是产品体验优化,实际是一件更大的事在往前走:谁有资格在互联网上自动抓取内容,正在变成一件需要申报和核验的事。

Cloudflare 自己给出的路线图有三步:这次上线的是「可见性」,让运营方能看到和修改自己的提交;接下来是「所有权与可观测性」,让运营方能认领自己的名录条目、看到网站是怎么对待自己的机器人的;更长远的是「对话」,让爬虫方能向网站证明自己带来的是价值而不是伤害,从而请求被放行。

第三步最值得留意。「让爬虫向网站请求放行」意味着一个协商机制,而协商是要有中间人的。

这件事有明确的偏向。Cloudflare 是唯一同时握着两边信息的一方:它知道有哪些爬虫、它们声称在做什么、验证是否通过;也知道网站方的规则和流量。「已验证」这个标记的价值,完全建立在 Cloudflare 的判断被普遍接受的前提上。对爬虫运营方来说,不参与的代价会越来越高:被拦的概率上升,而且没有申诉渠道。这不是强制,但也不完全是自愿。

对 AI 公司尤其如此。第二问「内容用来做什么」几乎就是冲着「训练模型」这个选项去的。一旦如实申报,网站主人就有了一个明确的开关。

2026-07-01 推出行为与内容用途的新分类模型 2026-07-底 BotBase 名录上线,面向网站主人 2026-08-28 运营方可见性:查状态、看拒因、改记录 接下来 所有权:认领条目,看网站如何对待自己 更长远 对话:爬虫可向网站请求被放行
Cloudflare 给 BotBase 定的三步路线,前两个时间点是已发生的事实,后两步是它自己声明的目标,无具体时间表。