2500 亿的放大器
当同一份数据存了 2500 亿份,任何一个字节的浪费都会被放大成几百 GB。
你上网输入 example.com,电脑得先问一句"这个名字对应哪台机器"。回答这个问题的服务就是 DNS,Cloudflare 的 1.1.1.1 是全球用得最多的之一。
为了不每次都去问源头,1.1.1.1 会把问过的答案存在内存里,这叫缓存(把查过的结果先留着,下次直接给,不用再去问一遍)。支撑 1.1.1.1 的系统叫 Big Pineapple,它在任意时刻手里握着超过 2500 亿条缓存记录。
2500 亿这个数字本身很难有感觉,但它的作用是乘法器。每条记录多浪费一个字节,乘以 2500 亿,就是全球机群多吃 250 GB 内存。一个字节大约就是一个英文字母的大小。
所以 Cloudflare 工程师干的事,听起来琐碎得可笑:去一条记录里抠几个字节。抠的结果是,五轮改动下来每条记录从 953 字节降到 420 字节,砍掉一半还多,全球空出约 100 TB 内存——相当于 130 台他们第 13 代服务器的全部内存。
一条记录里装了什么
每条缓存记录分两部分:问题是什么(键),答案是什么(值)。
键很简单:查的哪个域名、查的哪类记录、有没有经过验证。
值要复杂得多。除了答案本身,还捎带着一堆附加信息:这条记录什么时候存进来的、被命中过多少次、还有多久过期。DNS 的回答不止一条,而是分成三组——正式答案、负责这个域名的服务器是谁、可能有用的补充信息。
问题出在这些数据是用什么形状装起来的。接下来五轮优化,改的全是"形状",一条信息都没丢。答案还是那个答案,只是换了个装法。
为长大预留的空间
存答案用的容器是为"以后还要加东西"设计的,但答案存进去就再也不改了。
程序里装一串东西,最常用的容器叫可变数组。它记三件事:数据在哪、现在装了几个、最多能装几个。最后那个"最多能装几个"是为了将来往里塞东西时能判断要不要扩容。
但 DNS 的答案一旦存进缓存,就再也不会被修改。那个"最多能装几个"永远用不上,却每个容器白占 8 个字节。更糟的是它连堆上的空位也一起留着——一个能装八个、实际只装了五个的容器,三个空位就那么空着。
换成固定长度的容器,这两笔浪费同时消失。一条缓存记录里有 8 个这样的容器,每个省 8 字节,一条记录省 64 字节,乘以 2500 亿条,超过 15 TB。
这就像搬家时用纸箱:可变数组是买了个大箱子,想着路上还要往里塞东西;固定容器是东西装好后量着尺寸做的箱子,不留富余。
三个列表变一个
把三组记录合成一个列表,用两个小标记记住分界线,每条记录再省 28 字节。
原本正式答案、服务器信息、补充信息各存一个列表。每个列表都要记"数据在哪"和"装了几个",各 8 个字节。
改法是:三组记录首尾相接存进一个列表,再记两个数字标出分界点在第几个。因为 DNS 每组记录的条数不可能太多,这两个标记各用 2 个字节就够了。
两个 16 字节的列表,换成两个 2 字节的标记,每条记录省 28 字节。
还有个额外红利。程序在内存里摆放数据时会往缝隙里填补空白,好让每个字段都落在整齐的位置上——就像书架上摆书,尺寸不齐就得垫东西。删掉一个小字段,有时候顺带把它周围的填充空白也一起消掉了,省下的比这个字段本身还多。Cloudflare 顺手把几个是非开关压进了一个字节里,整个结构缩水的幅度比那几个开关加起来还大。
重复的域名不用再存
大多数记录的归属域名和查询的域名一模一样,那就干脆不存,用的时候从问题里现取。
DNS 的每条记录都带着一个"我属于哪个域名"的标签。查 example.com,返回的两条记录都标着 example.com——和问题里的域名完全重复。
但也有不重复的时候。如果 example.com 被设置成指向 cdn.example.com,返回的记录就一部分标 example.com、一部分标 cdn.example.com。
Cloudflare 的做法是:只在不一样的时候存。一样的时候存一个"空"标记,用户来查的时候,从缓存的键里把域名取回来填上就行——键在每次查询时本来就在手边,不用额外去内存里要空间。
实际情况里绝大多数记录的归属域名就是查询的域名,所以大部分记录在这个字段上完全不需要额外的内存分配。
按最胖的那个量尺寸
不同类型的 DNS 记录被装进同一个盒子,盒子大小按最胖的那类定,结果 80% 的记录在陪着一堆空气。
DNS 有很多种记录类型。最常见的两种,IPv4 地址只需要 4 个字节,IPv6 地址需要 16 个字节。
程序里表达"这个位置可能是 A 也可能是 B"的做法,是一个能装多种东西的盒子。但这个盒子的大小,必须按最能装的那一种来定。在 Cloudflare 的场景里最胖的是 NAPTR 记录,136 字节,加上标记和填充,整个盒子 144 字节。
于是一条只需要 4 个字节的 IPv4 地址,占着 144 字节的盒子,浪费 120 多个字节。而 IPv4 和 IPv6 加起来占了他们流量的八成以上。一条缓存记录里能装好几条这样的记录,账立刻就吓人了。
这就像一家餐厅只有一种餐盒,尺寸按最大的那道菜定。你点一碟花生米,也得用装整只烤鸭的盒子。
把胖的赶出去,但要付代价
把体积大的类型挪到别处、盒子里只留一个指路标签,省下的内存立刻见效,但引入了两笔新开销。
改法很直接:小的、常见的类型继续留在盒子里;大的类型挪到内存别处去,盒子里只放一个 8 字节的"它在那边"的指路标签。盒子从 144 字节缩到 24 字节,每条 IPv4/IPv6 记录省 120 字节。
最胖的 NAPTR 反而变贵了一点点——它现在要额外付一个指路标签和一次内存申请的成本。但 NAPTR 在真实流量里极其罕见,这笔账划算。
新麻烦有两个。
- 内存不是你要多少给多少。Big Pineapple 用的内存管理器把申请按尺寸分档,一条 TXT 记录要 32 字节,正好落在 32 字节那档,不浪费;但一条 MX 记录要 40 字节,只能往上取到 48 字节那档,白扔 8 字节。
- 数据被打散了。原本一条缓存记录的所有内容挤在一块连续的内存里,现在每个被挪走的部分各自住在内存的不同角落。读它得顺着指路标签跑一趟,如果落点离得远,CPU 就得重新去内存里搬一次数据。几百万条缓存记录乘下去,数据就撒得到处都是。
这两笔开销单看都不致命,但下一轮改动把它们一起消掉了。
干脆存成原始字节
最后一轮把所有记录数据压成一整条字节流,内存省了,速度反而更快了。
最后一步走得更远:不再用结构化的盒子装记录数据,而是把每条记录编码成"2 字节长度 + 原始字节",所有记录首尾相接塞进同一块连续内存。
这一下同时干掉了前面两笔开销:盒子的固定尺寸浪费没了,散落各处的独立内存块也合并成了一块。
更妙的是查询变快了。以前从缓存里取出记录、要拼成回给用户的 DNS 应答,得把每个字段重新编码一遍。现在大部分类型——IPv4、IPv6、TXT 以及所有 DNSSEC 相关类型——直接把那段字节原样拷贝过去就完事。只有含域名的类型(CNAME、NS、MX、SOA)还得解析一遍,因为要做域名压缩。这些直接拷贝的类型占了他们绝大部分流量,查询延迟因此降了 5%。
写入端也快了。他们用一块反复使用的临时空间来拼装字节流,用过几次之后这块空间已经够大,几乎不需要再扩容;拼完一次性拷进最终位置。这一项单独就让写入吞吐涨了 13%。
代价是记录不能再按编号随机取了,只能从头顺着读。但一条缓存记录里的记录条数本来就少,顺着读一遍的成本可以忽略。
省内存通常要拿速度换
这五轮改动最值得记住的不是省了 100 TB,而是省内存的同时速度还涨了——这在系统工程里是少数派。
系统优化里有个默认的直觉:省内存和跑得快,通常是一对矛盾。想少占内存,就得压缩、就得编码,读的时候再解开,于是慢了。
这五轮改动没有掉进那个交换。写入吞吐涨了 43%,查询延迟降了 19%。原因不神秘:这里省内存的手段是删掉冗余、把数据挤到一起,而不是压缩。删掉的字段本来就没人用,挤到一起反而让 CPU 少跑几趟。
生产环境的收益比实验室数据小一些,这一点值得注意。基准测试里每条记录省了 56%,但真实服务器上单实例内存 p99 从 9.3 GB 降到 5.3 GB,降幅 43%。差距不是哪里出了错——服务器内存里装的不只有缓存,还有程序运行的其他一切。
还有一点:Cloudflare 并不打算把省下的内存还回去。他们明确说要把这 100 TB 拿去扩大缓存容量——缓存能装更多,命中率就更高,回头去问源头服务器的次数就更少。所以最终受益的不只是他们的内存账单,还有每个用 1.1.1.1 的人的解析速度。这笔账从一开始就不是为了省钱。