先撑爆的不是模型
跑大模型时最先把显卡内存填满的,是它记下的对话笔记,不是模型本身。
模型每读进一个字,都会把这个字对应的一小块中间结果存下来,存放的地方叫 KV 缓存(模型对已经读过的内容做的笔记)。有了这份笔记,它写到第一千个字时不必把前面九百九十九个字重读一遍,查笔记就行。
麻烦在于笔记越记越厚。上下文越长、同时在聊的人越多,它吃掉的显存涨得越快。Cloudflare 在文章里点明,对 Moonshot 的 Kimi 和 Z.ai 的 GLM 这类长上下文模型来说,先把显卡内存填满的通常是这份笔记,而不是模型的权重。
这决定了后面所有工作的方向:不是让模型算得更快,而是让它占得更少。
笔记压成一半
把笔记里每个数字的记录位数从 16 位降到 8 位,同一块显卡能握住的上下文直接翻倍。
缓存里的每个数字默认用 16 位来记(业内叫 BF16)。Cloudflare 改成 8 位(FP8),同一份笔记的体积直接减半。这个动作叫 量化,就是用更少的位数记同一个数,代价是精度变粗。
在 Kimi K2.6 上,一块显卡能同时握住的上下文从大约 68.6 万 token 涨到约 137 万 token。粗略地说,一个 token 差不多是一个汉字或一个英文单词,137 万就是上百万字,几套长篇小说的体量。
会不会把答案记糊?Cloudflare 说跑完了整套评测,8 位和 16 位缓存的结果分不出差别。
单个更慢,整体更快
逐字比速度,8 位缓存每个字还慢几个百分点;它真正赢在 16 位缓存接到第 32 个请求就再也接不下第 33 个。
压成 8 位并没有让单个请求变快。读缓存时要多做一步换算,每生成一个字,8 位反而比 16 位慢上几个百分点。
差别在于能同时接多少人。在一台 H200 显卡的生成节点上,16 位缓存跑到 32 个同时在跑的请求(业内叫 并发)就把缓存耗尽了,第 33 个只能排队;8 位缓存一路撑到 64 个,峰值每秒吐出 2,192 个 token,比 16 位的最高点高出约 41%,每个 token 的成本低约三成。
这是服务器和个人电脑的根本差别:一个人用的时候比谁反应快,一万个人用的时候比谁能同时接住更多人。
权重压到 4 位
GLM 5.2 的权重从 8 位浮点压成 4 位整数,模型文件从 705 GB 缩到 421 GB,评测分数几乎没动。
模型权重是显存的另一个大户。Cloudflare 把 Z.ai 的 GLM 5.2 权重压到 4 位整数(INT4),模型文件从 705 GB 缩到 421 GB,少了约四成。
摊到硬件上更直观:这套模型要拆开放在 8 张显卡上跑,每张卡原来被权重占掉约 88 GB,压缩后只占约 52 GB。省出来的那 36 GB 不是闲着——它变成了约 118 万 token 的缓存空间,也就是更多能同时服务的对话。
准确率的代价?Cloudflare 说所有跑过的评测里,4 位和 8 位权重的分差都在 0.8 分以内。
两个阶段,两套配方
4 位权重让生成变快、却让读题变慢,Cloudflare 索性把两件事放在两组显卡上,各用各的最优配置。
一次问答分两步:先把你输入的全部内容读完(业内叫预填),再一个字一个字往外生成(叫解码)。压缩权重对这两步的影响正好相反。
生成阶段的瓶颈是搬运。每吐一个字,都要把模型权重从显存里整个过一遍,权重更小就搬得更少,字来得更快,并发越低这个优势越明显。读入阶段是纯算力活:4 位权重在参与计算前必须先还原成大数,这一步是白干的。GLM 用 8 位权重每秒能读 10,160 个 token,换成 4 位只剩 8,660。
Cloudflare 的解法是不做取舍。读入和生成本来就跑在两组不同的显卡上,那就让读入那组用 8 位权重配 16 位缓存,生成那组用 4 位权重配 8 位缓存。同一个优化,在一边是亏的,在另一边是赚的,那就只用在赚的那一边。
十亿分之一也会天天发生
几百个请求挤在同一块缓存上读写,Cloudflare 给每页缓存贴了标签,读之前核对,对不上就中止请求。
前面两招的共同结果是:一块显卡上同时挤着的请求多了好几倍。它们读写的是同一块物理缓存,被切成一页一页轮流分配。这套机制跑得快,前提是每一页归谁用记得分毫不差。
在我们的请求量下,哪怕十亿分之一的记错也会经常出现。
于是 Cloudflare 加了一层校验:每一页缓存都带一个标签,这页被回收再分配时标签就换掉。服务器记下每个请求该用哪些页、对应哪些标签,读之前先核对,对不上就直接中止这个请求,而不是把别人的数据当成你的答案返回。
代价被压得很低。在一套两读两生成的配置下,用 8,192 token 的输入和 1,000 token 的输出实测,吞吐和尾部延迟的损失都在 1% 以内。校验没有塞进最核心的那段计算里,而是单独跑一遍批量检查——塞进去会让显卡里的线程组抢跑。不需要的部署可以关掉,关掉时开销为零。
没有免费的午餐
三招没有一招是白得的,每一招的代价都落在单个请求上,收益都落在整台机器上。
每一招都有账单:
- 缓存压成 8 位:单个请求每生成一个字慢几个百分点,换来同时服务的人数从 32 涨到 64。
- 权重压成 4 位:读入速度从每秒 10,160 个 token 掉到 8,660,换来生成更快、每张卡的权重占用少四成。
- 加一层完整性校验:吞吐和尾部延迟各损失不到 1%,换来错发别人数据的风险被挡在门外。
代价全在单个请求身上,收益全在整台机器身上。 这是所有云服务共有的算术:你这一次问答慢了几毫秒,换来的是这块显卡能同时养活更多人。愿不愿意接受这笔交换,取决于你是买算力的人,还是卖算力的人。
Cloudflare 自己给出的收益是"支持更多客户、更低的成本、准确率不变"。前两项写在他们的账本上,第三项才是用户能直接感知的。省下来的成本会不会落到调用价格上,这篇文章没提。