先撑爆的不是模型

跑大模型时最先把显卡内存填满的,是它记下的对话笔记,不是模型本身。

模型每读进一个字,都会把这个字对应的一小块中间结果存下来,存放的地方叫 KV 缓存(模型对已经读过的内容做的笔记)。有了这份笔记,它写到第一千个字时不必把前面九百九十九个字重读一遍,查笔记就行。

麻烦在于笔记越记越厚。上下文越长、同时在聊的人越多,它吃掉的显存涨得越快。Cloudflare 在文章里点明,对 Moonshot 的 Kimi 和 Z.ai 的 GLM 这类长上下文模型来说,先把显卡内存填满的通常是这份笔记,而不是模型的权重。

这决定了后面所有工作的方向:不是让模型算得更快,而是让它占得更少。

笔记压成一半

把笔记里每个数字的记录位数从 16 位降到 8 位,同一块显卡能握住的上下文直接翻倍。

缓存里的每个数字默认用 16 位来记(业内叫 BF16)。Cloudflare 改成 8 位(FP8),同一份笔记的体积直接减半。这个动作叫 量化,就是用更少的位数记同一个数,代价是精度变粗。

在 Kimi K2.6 上,一块显卡能同时握住的上下文从大约 68.6 万 token 涨到约 137 万 token。粗略地说,一个 token 差不多是一个汉字或一个英文单词,137 万就是上百万字,几套长篇小说的体量。

会不会把答案记糊?Cloudflare 说跑完了整套评测,8 位和 16 位缓存的结果分不出差别。

同一块显卡能同时握住的上下文(token) 16 位缓存(BF16) 约 68.6 万 token 8 位缓存(FP8) 约 137 万 token 体积减半,容量翻倍
同一块显卡,缓存精度从 16 位降到 8 位后能握住的上下文翻倍(Kimi K2.6)。

单个更慢,整体更快

逐字比速度,8 位缓存每个字还慢几个百分点;它真正赢在 16 位缓存接到第 32 个请求就再也接不下第 33 个。

压成 8 位并没有让单个请求变快。读缓存时要多做一步换算,每生成一个字,8 位反而比 16 位慢上几个百分点。

差别在于能同时接多少人。在一台 H200 显卡的生成节点上,16 位缓存跑到 32 个同时在跑的请求(业内叫 并发)就把缓存耗尽了,第 33 个只能排队;8 位缓存一路撑到 64 个,峰值每秒吐出 2,192 个 token,比 16 位的最高点高出约 41%,每个 token 的成本低约三成。

这是服务器和个人电脑的根本差别:一个人用的时候比谁反应快,一万个人用的时候比谁能同时接住更多人。

32 → 64 同时在跑的请求上限 +41% 峰值每秒生成 token 数 −30% 每个 token 的成本
8 位缓存的收益不在单个请求的速度,而在能同时接住多少人(Kimi K2.6,H200 生成节点,FP8 对比 BF16)。

权重压到 4 位

GLM 5.2 的权重从 8 位浮点压成 4 位整数,模型文件从 705 GB 缩到 421 GB,评测分数几乎没动。

模型权重是显存的另一个大户。Cloudflare 把 Z.ai 的 GLM 5.2 权重压到 4 位整数(INT4),模型文件从 705 GB 缩到 421 GB,少了约四成。

摊到硬件上更直观:这套模型要拆开放在 8 张显卡上跑,每张卡原来被权重占掉约 88 GB,压缩后只占约 52 GB。省出来的那 36 GB 不是闲着——它变成了约 118 万 token 的缓存空间,也就是更多能同时服务的对话。

准确率的代价?Cloudflare 说所有跑过的评测里,4 位和 8 位权重的分差都在 0.8 分以内。

前 后 模型文件 705 GB → 421 GB 每张卡权重占用 约 88 GB → 约 52 GB 评测准确率 8 位为基准 → 差距 0.8 分内
GLM 5.2 权重从 8 位浮点压到 4 位整数前后的三项变化,准确率基本不动。

两个阶段,两套配方

4 位权重让生成变快、却让读题变慢,Cloudflare 索性把两件事放在两组显卡上,各用各的最优配置。

一次问答分两步:先把你输入的全部内容读完(业内叫预填),再一个字一个字往外生成(叫解码)。压缩权重对这两步的影响正好相反。

生成阶段的瓶颈是搬运。每吐一个字,都要把模型权重从显存里整个过一遍,权重更小就搬得更少,字来得更快,并发越低这个优势越明显。读入阶段是纯算力活:4 位权重在参与计算前必须先还原成大数,这一步是白干的。GLM 用 8 位权重每秒能读 10,160 个 token,换成 4 位只剩 8,660。

Cloudflare 的解法是不做取舍。读入和生成本来就跑在两组不同的显卡上,那就让读入那组用 8 位权重配 16 位缓存,生成那组用 4 位权重配 8 位缓存。同一个优化,在一边是亏的,在另一边是赚的,那就只用在赚的那一边。

请求进来 一段提问,可能带很长的上下文 读入阶段 · 第一组显卡 卡在算力:权重用 8 位,缓存留 16 位 交接 把算好的缓存传给另一组显卡 生成阶段 · 第二组显卡 卡在搬运:权重压到 4 位,缓存压到 8 位 逐字吐出答案 同一块卡上并行的请求数翻倍 4 位权重在读入阶段反而更慢:每秒 8,660 个 token,而 8 位是 10,160。
同一次问答的两个阶段跑在两组显卡上,各用各的最优精度组合。

十亿分之一也会天天发生

几百个请求挤在同一块缓存上读写,Cloudflare 给每页缓存贴了标签,读之前核对,对不上就中止请求。

前面两招的共同结果是:一块显卡上同时挤着的请求多了好几倍。它们读写的是同一块物理缓存,被切成一页一页轮流分配。这套机制跑得快,前提是每一页归谁用记得分毫不差。

在我们的请求量下,哪怕十亿分之一的记错也会经常出现。

于是 Cloudflare 加了一层校验:每一页缓存都带一个标签,这页被回收再分配时标签就换掉。服务器记下每个请求该用哪些页、对应哪些标签,读之前先核对,对不上就直接中止这个请求,而不是把别人的数据当成你的答案返回。

代价被压得很低。在一套两读两生成的配置下,用 8,192 token 的输入和 1,000 token 的输出实测,吞吐和尾部延迟的损失都在 1% 以内。校验没有塞进最核心的那段计算里,而是单独跑一遍批量检查——塞进去会让显卡里的线程组抢跑。不需要的部署可以关掉,关掉时开销为零。

每页缓存贴标签 这页被回收再分配时,标签就换掉 记下请求的预期 这个请求该用哪些页、对应哪些标签 读之前先核对 作为一次单独的批量检查,不塞进核心计算 对不上就中止 宁可中断这个请求,也不返回别人的数据 实测代价:吞吐与尾部延迟的损失都在 1% 以内,不启用时开销为零。
缓存完整性校验的四步,以及它的总代价(两读两生成配置,8,192 token 输入 / 1,000 token 输出)。

没有免费的午餐

三招没有一招是白得的,每一招的代价都落在单个请求上,收益都落在整台机器上。

每一招都有账单:

  1. 缓存压成 8 位:单个请求每生成一个字慢几个百分点,换来同时服务的人数从 32 涨到 64。
  2. 权重压成 4 位:读入速度从每秒 10,160 个 token 掉到 8,660,换来生成更快、每张卡的权重占用少四成。
  3. 加一层完整性校验:吞吐和尾部延迟各损失不到 1%,换来错发别人数据的风险被挡在门外。

代价全在单个请求身上,收益全在整台机器身上。 这是所有云服务共有的算术:你这一次问答慢了几毫秒,换来的是这块显卡能同时养活更多人。愿不愿意接受这笔交换,取决于你是买算力的人,还是卖算力的人。

Cloudflare 自己给出的收益是"支持更多客户、更低的成本、准确率不变"。前两项写在他们的账本上,第三项才是用户能直接感知的。省下来的成本会不会落到调用价格上,这篇文章没提。