说的和做的对不上
当你的网站声明里写着「不许抓」、实际拦截规则却放行时,有些爬虫会把这个矛盾当成无视你的理由。
每个网站根目录下都可以放一份 robots.txt,一份纯文本声明,写明哪些自动抓取程序可以来、哪些不许来。这些程序就是 爬虫(自动把网页内容抓回去的软件),搜索引擎靠它收录网页,AI 公司也靠它攒训练材料。
问题在于,robots.txt 只是一份声明。要真的把某个爬虫挡在外面,得靠另一套东西:在流量到达你的服务器之前就识别并拦下它的规则。两套东西分开维护,就容易对不上:声明里写着某个爬虫禁止入内,拦截规则里却根本没拦它。
声明和执行一旦对不上,爬虫就有了台阶下。 Cloudflare 在这篇公告里说,有些爬虫正是拿这种矛盾当依据,要么无视你写下的偏好,要么干脆试着绕开你的拦截。
面板一设,声明自动跟上
新功能 Bot Preference Sync 把你在 Cloudflare 后台对搜索、代理、训练三类流量的设置,自动写成 robots.txt 里的声明。
2026 年 7 月 1 日,Cloudflare 把 AI 流量拆成三类让站长分开设置:搜索(把你的页面收进索引,用户点进来)、代理(agent,能自己拆解任务、替用户连续办事的 AI 程序,会替用户上你的站取信息)、训练(把你的内容喂给模型学习)。搜索和代理各有三个选项:放行、只在带广告的页面上拦、全站拦;训练这一栏是禁止。
Bot Preference Sync 做的事,是把这份设置翻译成 robots.txt 的语言。你在面板上选了什么,Cloudflare 就按类别把对应的爬虫名字写进去。你说的和你做的,从此出自同一份设置。
几个细节:如果你已经有 robots.txt,新内容会加在最前面,你原有的规则一条不动;写进去的爬虫名单来自 Cloudflare 自己维护的机器人库,会定期更新,名单本身在它的公开机器人目录里随时可查;从免费版到企业版都能用,随时可以关掉。新用户默认开启,还在用旧版托管 robots.txt 的老用户,会在面板和邮箱里收到确认提示。功能在公告后一周内陆续开放。
robots.txt 拦不住任何人
robots.txt 是一份君子协定,真正挡住爬虫的是另一层:流量进门前执行的拦截规则。
这一层的性质得说清楚,否则后面的事都会误读。robots.txt 没有强制力。它是贴在门口的一张告示,肯守规矩的爬虫读了会绕道,不守规矩的照样长驱直入。真正把爬虫挡在门外的,是 Cloudflare 在流量进入你的网站之前执行的拦截动作。
所以把两者同步起来,价值不在于多了一道防线,在于消灭借口。告示和门锁说同一件事,爬虫就没法拿「你自己都没说清楚」当理由。 这也是为什么 Cloudflare 要把「声明」这层单独做成一个能一键开关的功能,而不是继续让站长自己手写一份静态文件。
透明度成了入场费
把搜索和训练藏在同一个身份里的爬虫,现在要满足四个条件,才能在站长禁止训练之后继续抓内容用于搜索。
Cloudflare 的说法是,有些爬虫用一个身份同时干搜索、代理和训练三件事,它称之为 混合用途爬虫(搜索、代理、训练共用同一个来访身份的爬虫)。站长因此陷入两难:拦了它,可能连搜索流量一起丢;放它进来,内容就顺手进了训练集。
新规则给这类爬虫留了一条路。站长设了禁止训练之后,它们要想继续抓内容用于搜索索引,必须做到四件事:
- 用任何方式,尊重 robots.txt 里「不用于训练」这条偏好
- 给站长一个开关,能把自己的内容排除在 AI 摘要之外
- 提供细到具体网址的可见性:哪些页面被拿去训练了,以及搜索结果相关的数据
- 公开拿出证据,证明站长禁止训练不会拖累它在传统搜索里的表现
做到的,会被列进 Cloudflare Radar 的 AI 爬虫透明度板块公开跟踪,那里既记录谁遵守了,也记录谁没有。做不到的,站长一按禁止训练,照旧全拦。Cloudflare 把这叫作「让透明度成为入场费」。
广告站有了自己的默认值
接入时勾选「这个域名靠带广告的页面赚钱」的网站,训练一栏默认设成禁止;其他新域名默认什么都不拦。
这个区别来自不同生意的不同算盘。Cloudflare 在公告里举了两个方向相反的例子:
一家电商店可能希望自己的一切都被抓取、被训练,这样当购物者问聊天机器人「小公寓里最合适的沙发」时,它的商品能被提到。
靠页面广告赚钱的出版商正相反。广告是给真人看的,所以它想留在搜索索引里,搜索把读者送到页面上;但它不想让文章进模型训练,而且要能核实自己的内容确实没被偷偷拿去用。于是接入时多了一个勾选项:「我在这个域名上靠带广告的页面赚钱」。勾了,训练默认设成禁止;不勾,新域名接入时不会被加上任何拦截,全由你自己决定。设置随时能改。
还有一处边界要注意:Bot Preference Sync 处理的是按类别一刀切的策略,它不会去读你写的自定义规则。如果你和某家公司有单独约定、要给它开例外,就得关掉同步,自己维护这份文件。
谁在定这个规矩
这套规则的实际效果,是让 Cloudflare 成为判定哪些 AI 爬虫「够透明」的那个人。
Cloudflare 经手着大量网站的入口流量,它列名单、定条件、在自家的 Radar 上公开点名。这四条透明度要求不是行业投票投出来的,是一家公司写下来的标准。
对站长,这是省事:少维护一份文件,少一次自相矛盾,面对 AI 公司时还多了一条筹码。对 AI 公司,这意味着要向一个第三方交出以前不必公开的数据:哪些页面被拿去训练、禁止训练之后搜索表现如何。原文没有点名任何一家已经做到的公司,也没说达标要怎么核验。
真正的变化是「不透明」第一次有了明码标价的代价。 代价收得住收不住,取决于有多少网站用 Cloudflare,以及大的 AI 公司愿不愿意为搜索流量交这份数据。