数据走了不该走的路

路由泄漏就是网络流量被引到了一条它本不该走的路上,而互联网至今主要靠人工写规则来防它。

互联网是几万个独立网络拼起来的。这些网络之间只有两种关系:要么掏钱买接入,要么互相免费换流量。掏钱的一方叫客户,收钱的叫供应商;对等的两家谁也不给谁钱,直接互通。

这两种关系定义了路由该往哪走。从供应商或对等方那里学到的路线,只能往下告诉自己的客户,不能反过来再捅回给另一个供应商或对等方。原因很直白:你没收人家的钱,凭什么替人家转运流量。

一旦有人打破这条规矩,流量就会从高处滑到低处再被顶回高处,走出一道多余的「山谷」。最常见的形态是某个小网络同时接了两家上游供应商,把一家的路线转告给了另一家。两家骨干网之间的流量于是全涌进这个小网络。它既没收钱,也大概率扛不住这个量级,结果就是延迟飙升甚至直接丢包。

这类事故的防御手段,几十年来都是同一套:每个网络运营商手工写过滤规则,一条会话一条会话地声明「我和对面是什么关系」。写错一条,泄漏就发生了。

小网络接了两家上游 AS64504 同时买 A、B 两家的接入 从上游 A 学到一条路线 本应只往下告诉自己的客户 误转给了上游 B 关系从未授权的"向上"传播 B 的流量涌向小网络 骨干网之间的量级压在小网络上 延迟飙升或丢包 小网络既没收钱也扛不住 这条路径先向下再向上,画出来是一道"山谷"——正常路由不该有山谷
一次典型的路由泄漏是怎么发生的:小网络把一家上游的路线转告给了另一家上游。原文称这种形态为"发夹弯"。

把规矩写进协议本身

RFC 9234 的思路是:别让人去记关系了,让两台路由器在握手时自己对一遍。

2022 年发布的 RFC 9234 标准加了两样东西。

第一样叫 BGP 角色(BGP Role,在每条对外连接上声明「我相对于你是什么身份」)。可选的身份有五种:供应商、客户、对等方,以及交换中心路由服务器和它的客户端。两边的声明必须配对,你说自己是客户,对面就得说自己是供应商。

如果两边对不上号,比如一边说「你是我客户」另一边说「咱俩是对等」,连接直接建不起来,报一个角色不匹配的错误。这恰恰是它最有价值的地方:两家网络对彼此关系的理解居然不一致,这种潜伏的误会以前要等到出事故才暴露,现在在握手阶段就当场失败。

第二样叫 OTC 属性(Only to Customer,「只准发给客户」),是贴在路由上的一枚标签,内容是一个网络编号。当一条路线第一次不再向上传递、开始横着走或往下走时,就被盖上这枚戳,记下是谁在这个位置盖的。盖过戳的路线从此只能往下走。

回到前面那个小网络同时连两家供应商的例子:路线在上游被盖了戳,传到小网络时戳还在。小网络要是守规矩,它根本不会把带戳的路线发给另一家供应商;就算它不守规矩发出去了,接收方一看,从客户那儿收到一条带戳的路线,按标准定义这就是泄漏,直接作废。两道闸,中一道就够。

之前 之后 规则写在哪 运营商手工配置 BGP 协议内部 谁来判断泄漏 人写的过滤策略 路由器自动识别 关系不一致时 事故发生才暴露 握手当场失败 出错概率 每条会话都可能写错 配好角色即生效
RFC 9234 把"我和对面是什么关系"这件事从人工配置搬进了协议握手。对照依据为原文对传统 prefix filter / IRR 策略与 BGP Role 机制的描述。

谁真的用上了

Cloudflare 用自己和数千家网络的直连关系去数,三个月里只数出 67 家在用。

数清楚谁部署了这套机制,比听起来难。标准规定收发两侧都可能盖戳,发的一方没盖,收的一方得补上。于是你看到一条带戳的路线,无法判断是上游主动盖的,还是下游补盖的。

先用公开数据试。RouteViews 和 RIPE RIS 这两个公开的路由数据采集点,能看到全球路由表的快照。直接数不同的戳记值能得到 361 个候选网络,但这个数被「补盖」行为严重注水。Cloudflare 用了一套多重过滤:先挑出戳记值等于路径首个网络的情况,只剩 9 家;再按上下游邻居数量反复筛,最终得到 36 家可能合规的网络。

然后换一条路。Cloudflare 自己和数千家网络直接互联,开放对等政策,直连就没有中间人这层歧义,对方发过来的路线上如果戳记值正好是对方自己的编号,那一定是对方盖的。用这个办法监测三个月,得到 67 家。

这 67 家的构成有意思。交换中心的路由服务器占比突出,加拿大卡尔加里的 YYCIX 是全球第一个部署的。这类服务器跑的多是开源路由软件,新功能落地快,而且它们坐在大量路由的必经之路上,一家盖戳能保护一大片。另一个突出的群体是个人持有的网络编号,同样是开源软件用得多的缘故。

确认在设置 OTC 属性的网络数量 Cloudflare 直连观测 67 家 三个月 BMP 数据, 无中间人歧义 公开采集点推算 36 家 多重过滤后的保守估计
同一个问题,两种数法:靠公开路由数据只能推出 36 家,靠自家数千条直连关系数出 67 家。两个数都是下限,不是全网真实部署量。

有人在撕标签

Cloudflare 发了两个诱饵地址段,钓出 15 家在删除 OTC 标签的网络,其中两家是顶级骨干网。

标准写得很明确:OTC 是「可选传递」属性,就算你的路由器不认识它,也应该原样往下传,而不是丢掉。Cloudflare 想知道谁没照做。

实验设计得很干净:拿一个 IPv4 地址段和一个 IPv6 地址段,预先贴上写着 Cloudflare 自己编号(13335)的戳,从全球所有互联点同时广播出去。确认传遍全球后,再主动撤回。撤回会触发路由器满世界找备用路径,等于把更多条经过不同网络的路径逼出来看。

判断逻辑是滚雪球式的:先看长度为二的路径,如果某家网络直连 Cloudflare 却把戳弄丢了,责任跑不掉。第一轮抓到 6 家,其中就有 GTT(AS3257)和 Arelion(AS1299)两家顶级骨干网。然后把已确认会保留戳记的网络从更长的路径里剔除,剩下唯一一家未知的就能定责,如此反复。

最后的数字是 15 家在删。但真正刺眼的是覆盖面:IPv4 路径里 33.1%、IPv6 里 17% 的戳被抹掉了。而这些被抹掉的路径中,96.6%(IPv4)和 92.9%(IPv6)都经过 GTT 或 Arelion 之一。少数几家骨干网的选择,决定了这套机制在全网三分之一的路径上是否还有效。

33.1% IPv4 路径的 OTC 被删 17% IPv6 路径的 OTC 被删 15 家 确认删除 OTC 的网络 96.6% 被删路径经过这两家骨干网
十几家网络的配置选择,影响了三分之一的 IPv4 路径。96.6% 指被删标签的 IPv4 路径中经过 GTT 或 Arelion 的比例。

撕标签不是坏心眼

GTT 和 Arelion 承认在删,理由是历史事故留下的自保习惯,一个安全措施被另一个安全措施挡住了。

Cloudflare 联系了两家,对方都确认了,并给出了原因:这是过去 BGP 事故留下的防御性配置。

事故的逻辑是这样的。早年间,如果一条路由广播里带着格式损坏的附加属性,收到它的路由器会直接重置和邻居的连接。这个连接一断,故障就沿着链路扩散,一个网络的配置失误,能在地球另一端引发断网。于是不少运营商干脆立了条规矩:不认识的属性,一律丢掉,别给自己惹麻烦。

后来的 RFC 7606 标准修掉了这个隐患,改成只把出问题的那批地址当作撤回处理,连接照常保留。但当年立下的「一律丢掉」规矩留在了配置里,没人去动。而 OTC 恰好就是一个新的、很多老设备不认识的属性。

这里还有个不太体面的细节:不久前确实出现过格式损坏的 OTC 属性在某些路由器实现上引发连接重置的事件。老习惯不是纯粹的偏执,它对应过真实的疼痛。

结局是分岔的。Arelion 在沟通后不久就改了配置,Cloudflare 用公开数据复查确认经过 Arelion 的路径上戳记回来了。GTT 至今仍在删除。只要它不改,穿过 GTT 的路由泄漏就依然不受这套机制约束。

测出并联系 测出并联系 双方确认的原因 双方确认的原因 沟通后修改 至今未改 Cloudflare 广播带 OTC 的测试地址段 Arelion (AS1299) IPv4 路径 71.4% 丢戳, 不一致 GTT (AS3257) 一贯丢戳, 无例外 历史事故留下的防御配置 不认识的属性一律丢弃 已改: 戳记恢复传递 公开数据复查确认 未改: 泄漏防护仍失效 穿过 GTT 的路由不受保护
两家骨干网因为同一个历史原因删除 OTC,被同一次研究找上门,结果一家改了一家没改。71.4% 指以 Arelion 为 Cloudflare 下一跳的 IPv4 路径中丢失 OTC 的比例。

这份报告该怎么看

这是一项数字扎实的独立测量,但它同时也是 Cloudflare 在为自己的位置说话,而它说的这件事恰好是对的。

先说数据的成色。67 家、15 家、33.1% 这些数字都来自可复现的实测:公开采集点的数据任何人能下载,测试用的地址段和查询命令 Cloudflare 在文中直接贴了出来。Arelion 改配置这件事是用第三方公开数据验证的,不是厂商自说自话。

但有两处要留个心眼。第一,「只有 67 家在用」这个数是从 Cloudflare 的视角数出来的,它再大也只是一家网络,没和 Cloudflare 直连、也没被公开采集点覆盖的部署者,数不进去。真实数字只会更高。第二,Cloudflare 自己也在推 RFC 9234 部署,文中直接呼吁读者去催自家设备厂商支持。它有立场。

把立场放一边看事实:一个网络标准明文规定「必须原样传递」的东西,在现实中被三分之一的路径丢弃,而丢弃的理由是十年前另一个安全事故留下的肌肉记忆。互联网的安全升级,永远要在一堆早已凝固的历史配置上做。

更值得记住的是这次的推进方式:一家公司做了测量,直接联系了两家骨干网,一家改了,一家没改,全过程公开写出来。互联网没有中央权威,它的安全改进就是这样一封邮件一封邮件推的。