起点是硬盘涨价

Cloudflare 做这件事的理由跟技术好玩没关系,是过去一年内存和硬盘价格暴涨。

Cloudflare 这篇文章的开头一句写得很直白:内存成本在急剧上升,RAM 和硬盘的价格过去一年都暴涨了。

它偏偏是个极度依赖存储的公司。它跑着全球最知名的 CDN 之一,把网站的文件提前复制一份放到全球各地的机房,用户访问时就近拿,不用每次都跑去网站自己的服务器。这份放在机房硬盘上的复制品,就叫缓存。缓存越大,能提前放的东西越多,用户等得越短,回源站的流量越少。

硬盘贵了,扩容这条路就跟着变贵。于是有人换了个思路:不买更多硬盘,而是让同样的硬盘装下更多东西。做这件事的是 Cloudflare 的一名实习生。这个叫 Cache Transcoding 的原型,是他在 Cloudflare 的 1.1.1.1 实习项目里搭出来的。

图片视频一律不碰

图片、视频、字体出厂时就压过一轮,再压一遍纯属白烧 CPU;真正值得压的是网页里的文字类文件。

压缩这件事有天花板:一份数据里的重复规律被榨干之后,再压就没油水了。图片、视频、字体这类文件在生成时就已经压过,对它们再来一次,CPU 烧了,体积几乎不动。

Cloudflare 抽了一份真实流量样本,看这两类内容各占多少。结果是个交叉:媒体文件只占 21.4% 的请求,却吃掉 63.3% 的字节;HTML、JSON、CSS、JavaScript 这些文字类文件占了 67.3% 的请求,只占 22.3% 的字节。

真正值钱的是第三个数:这些文字类文件里,约 71% 到达 Cloudflare 时压根没被压缩过。网站自己没开压缩,原样发了过来,Cloudflare 过去也就原样存下来。这 71%,就是这个项目要捡的钱。

占请求数 占字节数 21.4% 63.3% 图片、视频、字体 (已压过,不动) 67.3% 22.3% 网页、脚本、样式表、数据 (要压) 文字类文件里,约 71% 到达时完全没压缩过
为什么只压文字:文字类文件占了三分之二的请求,却只占两成多的字节——压它们,CPU 花得少,省下的是那些原本白白摊开躺着的字节。数据来自 Cloudflare 的真实流量样本。

编码一次,解码无数次

压缩的钱只在文件第一次进缓存时付一次,解压却每发给一个用户就要付一次。这个不对称决定了整笔账划不划算。

这笔账的两端不一样重。一个文件进缓存时压一次,之后它在缓存里待多久、被多少人访问,压缩的钱都不用再付。解压不同:每一次发给用户之前都得解开一次。

Cloudflare 选的压缩算法叫 Zstandard(简称 zstd),是 Facebook 工程师 Yann Collet 开发、2016 年开源的通用压缩算法。它的卖点不在压得最狠,在压缩率和速度之间的平衡:按 Cloudflare 之前做浏览器压缩测试的数据,和网页上最常用的两种压缩算法比,它比 Brotli 快 42%、文件大小几乎一样,比 gzip 小 11.3%、速度相当。这个原型用的是它的 3 档力度,速度和体积之间的常用默认平衡。

快为什么这么要紧,就落在那个不对称上:缓存的本质是被读的次数远多于被写的次数。压一次的钱摊到成百上千次读上基本可以忽略;每次读都得重付的解压钱,才是真正的账单。

Cloudflare 团队一开始还想过一个更聪明的做法:只压热门内容,因为热门内容复用次数多。结果这个思路是反的。热门内容被服务的次数最多,解码的 CPU 一分不少;而占据硬盘大头的恰恰是那些冷门的、躺着不动的文件,不压它们,存储收益就没了。只压热门等于砍掉了收益,却没同比砍掉成本。 最后胜出的是最笨的规则:符合条件的文字文件,一律压。

2.8 倍 可压缩文本的体积缩水倍数 +几个百分点 多付出的 CPU(原文估算)
这笔交易的两端:测试语料里文件体积缩到原来的三分之一出头,代价是几个百分点的额外 CPU。两个数都出自 Cloudflare 自己的测量与模型。

四千字节以下不碰

小文件不值得压,Cloudflare 把门槛定在 4 KiB,这一刀砍掉大量小请求,只漏掉约 1% 的可压缩字节。

最快的压缩,是那次你根本不用做的压缩。

原文里的这句话,是整套筛选规则的原则。每压一个文件都有固定开销:记元数据、调用压缩、来回读写。文件太小的时候,这点开销比省下来的字节还多。

所以一个响应要被压,得同时满足三条:

  1. 源站发过来的时候本身没压缩过
  2. 内容类型是文字类:网页、脚本、样式表、数据
  3. 长度明确写着,而且不小于 4 KiB,大约一千多个汉字的纯文本

不满足的全部原样放过:断点续传式的分段请求、已经压过的响应、长度不明的流式内容、二进制文件,一律不动。

4 KiB 这一刀砍掉了海量小请求,代价是漏掉大约 1% 的可压缩字节。门槛再往下调,多出来的存储收益很有限,每个文件的固定开销却要多付很多份。门槛和压缩档位在原文里都被写成可调参数,不是定死的规矩。CPU 预算摸清之后,还要试更狠的压缩档值不值。

压缩态跑完全程

文件在 Cloudflare 各机房之间传输时一直保持压缩状态,只在发给用户的最后一跳才解开。

这里是这套设计最省事的一笔。压缩和解压的活儿做在 Pingora 里,Cloudflare 自研的那层代理程序,所有进出的流量都要经过它。

压缩格式在整条链路上是一路带着走的。上层机房从源站拿到未压缩的原始文件,在这里压一次,存成压缩格式;传给下层机房时,骨干网上跑的是压缩后的小体积;下层机房收下来,也按压缩格式存进硬盘;只有在把内容交给用户之前,才解开成原样。如果下层机房自己就有这份文件,整条路只剩最后这一步。

也就是说,一次压缩同时买到了两样东西:硬盘上少占的空间,和 Cloudflare 自己机房之间少跑的流量。缓存里还记了一个标记,说明这份数据已经是压缩过的,防止它在层与层之间传递时被反复压第二遍、第三遍。

这一切对用户和网站完全不可见。zstd 是 无损压缩,解开之后每一个字节和原来一模一样,跟图片那种「压小一点、糊一点」的压缩是两回事。网站发出去什么,用户就收到什么。

压缩态 用户请求到最近机房 下层机房里没有这份文件 上层机房回源站取 拿回来的是未压缩的原始文件 在上层压成 zstd 整条链路只在这里编码一次 压缩态跨机房传输 骨干网上跑的是小体积,硬盘上存的也是 最后一跳解开发给用户 解码只发生在面向用户这一步 如果下层机房自己就有这份文件,整条路只剩最后一步。
一次完整未命中时 zstd 格式覆盖的范围:从上层机房编码开始,一路压着走,直到交给用户前才解开。流程按 Cloudflare 原文的 Cache Transcoding 工作机制一节还原。

测了百万次,只用两个文件

2.8 倍的压缩比来自两个刻意挑选的可压缩文件,不能当成全网常数。

验证做得不算潦草。Cloudflare 在一个受控测试域上跑了超过一百万次请求,分布在 10 台缓存服务器上,一半关掉分层缓存、一半打开,这样本地缓存的表现和跨机房传输的表现能分开看。正确性那一轮覆盖了缓存未命中、命中、单跳填充、跨层填充等路径,每一条都用链路追踪确认了编码和解码究竟发生在哪一跳。

但测试语料是挑出来的。全程只用了两个文件,大约 195 KiB 和 272 KiB,差不多是两个内容偏多的网页,两个都能压到原来的三分之一出头,也就是文章反复提到的 2.8 倍。

Cloudflare 自己把这条边界划得很清楚:这是一份刻意选择的可压缩语料,它给出的是「架构能不能跑通」的清晰信号,不代表互联网上每一个文字文件。想把 2.8 倍当成全网常数,还需要广得多的样本。

这次实验证明了什么 架构跑通了:压缩、跨机房传输、 解码,内容一字不差, CPU 在预算内 没有证明什么 2.8 倍只来自两个挑出来的 可压缩文件,不代表全网文本的 真实压缩比
一百万次请求验证的是架构能不能跑通,不是压缩比能不能推广。这条边界是 Cloudflare 自己在原文里划的。

省下的是谁的钱

这是个原型不是上线功能,PB 级的节省是按模型估出来的,而且省的是 Cloudflare 自己的成本。

先把状态说清楚。Cache Transcoding 目前是原型。文章里说的「省出 PB 级有效缓存容量」和「CPU 只多几个百分点」,都来自 Cloudflare 在特定流量和复用假设下跑的模型,不是已经发生的账。原文的措辞是「我们能怎样省下」,不是「我们省下了」。

再看这笔钱归谁。省下的硬盘空间和机房之间少跑的流量,是 Cloudflare 自己的成本结构。客户能间接受益:缓存装得下更多东西,自己的内容被挤出去的概率就低一点,回源的次数少一点。但全文没有一句说客户账单会变。这是平台侧的效率红利,先落在平台手里。

真正值得注意的是时机。zstd 2016 年就开源了,把它塞进缓存链路在技术上一点不新鲜。过去没人认真算这笔账,是因为硬盘便宜到不值得算。 现在 RAM 和硬盘价格一年之内暴涨,一个实习生花一个暑假重新算了一遍,算出来是 PB 级的量。接下来几年,类似的「把旧办法重新算一遍」大概会在不少基础设施公司里发生。这是推断,但推动力很清楚:硬件不再便宜了。