模型就是一堆数字

语言模型的「智能」不在代码里,它藏在几百亿个数字彼此的关系中。

普通软件靠程序员写死的判断跑起来:用户点了这个按钮,就执行那段代码。ChatGPT 这类大语言模型不是这么工作的。

它的本体是一大堆数字,业内叫 权重(weights,也叫参数,就是模型训练完固化下来的一串数值)。700 亿参数,意思就是 700 亿个数字。 每个数字通常占 16 位、也就是 2 个字节,2 乘以 700 亿,正好是 140 GB。这就是模型的「体积」。

这些数字按矩阵排列,一个权重矩阵常见的规格是 4096 乘 4096,一张就是约 1670 万个数字。一个 700 亿参数的模型有几百张这样的矩阵,堆在大约 80 层里。模型跑起来还需要别的东西:负责调度数据的 Transformer 架构、装着对话内容的上下文窗口。但架构不过几百行代码,一次对话的提示词不过几 KB。真正占地方的只有权重。

单个数字本身毫无意义。 打开模型文件翻到第 N 个权重,看到 0.0293,旁边是 -0.0117、0.004、-0.0862。单看每一个都是废话。能力藏在它们彼此的关系里。

140 GB 700 亿参数模型的体积 24 GB 一块好显卡的显存 48 GB 顶配显卡的显存
模型体积和显卡显存差着数倍。140 GB = 700 亿个权重 × 每个 2 字节;显卡数字出自原文对消费级硬件的描述。

三条路,都是动数字

缩小模型只有三种办法:数字记得粗一点、删掉一些数字、另造一个小模型模仿大的。

既然模型就是权重,压缩模型无非是在权重上做文章。三种主流技术对应三个动作:

  1. 每个权重存得粗糙一点,业内叫量化(quantization)。权重一个不少,只是每个记录得没那么精确,比如 2 个字节缩成半个字节。
  2. 把没用的权重删掉,叫剪枝(pruning)。找出那些对结果几乎没贡献的数字,直接抹掉。
  3. 造一个小模型去模仿大模型,叫知识蒸馏(knowledge distillation)。原模型完全不动,另外训练一个更小的模型,让它的行为尽量像原来那个。

还用照片打比方:量化是换一台便宜点的相机重拍,分辨率稍低;剪枝是把照片边缘的空白裁掉;蒸馏是请一位画师照着原作重画一张四分之一大的。

三种技术可以叠着用。 一个模型可以先被造它的实验室蒸馏一遍,再被某个研究团队剪枝,最后由用户在装进自己电脑前量化一次。层层叠下来,原本要数据中心才跑得动的模型,才有机会落到一块消费级显卡上。

2 字节→半字节 抹零或切结构 原模型不动 原始模型 700 亿权重 / 140 GB 量化 每个数存得更粗 剪枝 删掉没用的数 蒸馏 另造小模型模仿 能跑在消费级显卡上 三者可叠加使用
三种技术各自动手的位置不同,但可以叠着用——实验室先蒸馏、研究团队再剪枝、用户最后量化。虚线表示蒸馏不修改原模型。

精度是可以省的

权重存成 0.02934517 还是 0.029,模型的输出几乎没差别。多出来的那些位数是白花的存储。

量化的出发点很朴素:大量存储花在了根本不重要的精度上。

训练模型时确实需要高精度,因为训练就是对每个权重做几百万次极其细微的调整,用的是 32 位浮点数(每个数占 4 个字节)。但模型训练完、要发出去给人用的时候,精度通常已经降到 16 位。还能再降。

降的代价要看数字是怎么构成的。一个浮点数把位数分成三部分:符号、指数、尾数。32 位格式里,1 位给符号、8 位给指数、23 位给尾数。16 位的 BF16 格式保留了全部 8 位指数,只把尾数砍到 7 位。能表示的范围和 32 位一样大,只是细节粗了。

换成整数,性质就变了。 一个 8 位整数只能表示 -128 到 127 之间的整数,4 位整数只能表示 -8 到 7。没有指数,也就没有了「刻度」。把浮点数转成整数,丢的不只是精度,还有每个权重自带的量级信息。所以量化的技巧全在于怎么把丢掉的刻度找补回来。

每个权重占用的字节数 训练时 FP32 4 字节 1 位符号 + 8 位指数 + 23 位尾数 发布时 BF16 2 字节 指数不变, 尾数砍到 7 位 量化后 4 位整数 0.5 字节 只能表示 -8 到 7, 无指数
从训练格式压到 4 位整数,每个权重占的空间是原来的八分之一。三档格式的位数分配均出自原文。

四位整数怎么装下小数

量化的做法是:给一小组权重量一次刻度,把每个数换算成 -7 到 7 的整数,刻度单独存一份。

具体看一组真实数字。取八个相邻的权重:0.021、-0.017、0.004、-0.048、0.011、0.033、-0.006、0.070。

第一步是量刻度。 这八个数最大的绝对值是 0.070。目标精度定为 4 位,也就是只能写 -7 到 7 的整数,每个方向七格。于是一格 = 0.070 ÷ 7 = 0.010。

第二步是四舍五入。 每个权重除以 0.010,取最近的整数。0.021 变成 2,-0.048 变成 -5,0.070 变成 7。最终写进模型文件的就是这些 -7 到 7 之间的整数。

第三步是存刻度。 0.010 这个数被叫作缩放因子,整组只存一份。要读回权重时,把整数乘回去:2 × 0.010 = 0.020。原值是 0.021,有误差,但很接近。

这里的「一组」指一小撮相邻的权重,不是整个模型,业内叫一个块,块越小越好。拿整个模型的最大值当刻度,一个极端的离群数字会把刻度拉得很粗,所有正常数字都被压扁。分成小块,每块各量各的刻度,误差才控制得住。

量化跑完,模型还是原来那个模型:权重数量一样、矩阵一样、层数一样,只是每个数字记得粗了一点,占的地方少了一大截。

第一步 · 量刻度 取一小块相邻权重, 最大绝对值 0.070 ÷ 7 = 一格 0.010 第二步 · 四舍五入 每个权重 ÷ 0.010 取整, 得到 -7 到 7 的整数 第三步 · 存刻度 0.010 整块只存一份, 叫缩放因子 读取时还原 整数 × 0.010, 如 2 × 0.010 = 0.020 (原值 0.021) 「一块」不是整个模型, 而是一小撮相邻权重——块越小, 刻度越贴合, 误差越小。
量化的完整流程:量刻度、取整、存刻度,读取时再乘回去。数字取自原文给出的八个权重样例。

删掉的是没人走的路

训练会产生几十亿个几乎为零的权重,它们在训练期有用,训练完就是死重量。

剪枝走的是相反的路:干脆删掉一批权重。

大部分权重的值都贴近零,比如 0.00004、-0.0011,小到对输出没有任何实质影响。训练过程会产生几十亿个这样的数。它们在模型成形的过程中有用,成形之后就成了死重量。

可以想成城市地图上那些从来没人走的小路和支线车道:画在图上,删掉,通勤的人不会受任何影响。

问题是删哪些。 最省事的办法是按绝对值排序,离零最近的先删。按这个办法删掉 20%,对一个 700 亿参数的模型来说就是抹掉 140 亿个数字。但这个办法有漏洞:一个权重的影响力不只看它自己多大,还看它坐落在哪条通路上。一个数值不大、却处在高频通路上的权重,作用可能超过一个数值大但没人经过的。

更靠谱的做法是先拿几百段样本文本喂进模型,观察每个权重实际接收到的输入有多大,再综合打分决定去留。

140 亿 剪掉 20% 相当于删的权重数
从 700 亿参数模型里剪掉 20%,就是抹掉 140 亿个数字。700 亿 × 20% = 140 亿,原文给出的例子。

抹成零还是整块切

剪枝有两种下刀方式:抹成零对模型伤害小但省不下算力,整块切除能真正缩小矩阵但会误伤。

选好了删哪些,还有怎么删。

第一种是把选中的权重设成零。 对模型的损伤最小,但留下的是一张零星散布着零的矩阵,没有任何规律。显卡照样得拿这些零参与运算。省了意义,没省算力。

第二种是整块切除结构件:砍掉一整个模拟神经元、一个注意力头、甚至一整层。矩阵是真的变小了,运算量实打实地降了。但这一刀下得粗:删掉一个神经元,意味着连在它身上的所有权重一起消失,其中难免有几个是重要的。

所以剪枝很少单独用,它更像是配合别的技术时的一道工序。指望靠它把模型压下来,通常不划算。

抹成零 整块切除 删的粒度 单个权重 整个神经元或层 矩阵大小 不变,零散布其中 真的变小 显卡算力 零照样参与运算 运算量实打实降低 对模型伤害 最小 会误删重要权重
抹成零(左)保住了模型质量却没省下算力;整块切除(右)真省算力但下刀粗。两条路各有代价。

老师在卷子上写批注

蒸馏不改原模型。它让大模型当老师,教出一个小十倍的学生模型。

第三种技术换了个思路:不动原模型,另起炉灶造一个小的。

大模型叫教师模型,用同一套架构从零搭一个层数更少、矩阵更小的新模型,比如把 700 亿压到 70 亿,这个新模型叫学生模型。它出生时权重全是随机的,毫无意义。

学生对着老师的行为学。 同一段输入喂给师生两边,不断调整学生,让它的输出尽量贴近老师的输出。

这比直接拿原始数据训练更有效,原因在于模型预测下一个词时产出的是一整份概率:词表里每个词各占多少。给出「the cat sat on the……」,老师模型的回答是「mat 41%、floor 12%、couch 9%」这样一整份分布。普通训练只告诉学生正确答案是「mat」;蒸馏把整份分布都给它。 学生因此知道「couch」也算合理猜测,而「purple」相当离谱。

就像老师批卷子:只打勾和叉,学生只知道对错;写上批注,学生才知道错在哪、差多远。

代价是训练成本。让一个巨大的教师模型在海量数据上跑一遍,需要数据中心级别的资源。但这笔账由实验室付。使用者这边只是下载一个跑得动的小模型。

蒸馏在做什么 从零造一个新的小模型, 让它模仿大模型输出的整份概率分布 蒸馏不是什么 不是把大模型压缩、裁剪或改造—— 原模型一个字节都没动
蒸馏和另外两种技术的根本区别:它造新模型,不改旧模型。

变笨是真的,但有分寸

三种技术都会让模型变笨一点,关键是知道每种会在哪一类任务上先崩。

压缩必然损失智能,问题只是损失多少、损失在哪。这三种技术的「失分点」并不相同:

  1. 量化损失的是细腻度。模型可能丢掉对极端语境的把握、忘记一些非常具体的事实、语气不那么自然。但程度高度取决于压到哪一档:从 32 位降到 8 位几乎察觉不到差别,压到 4 位甚至更低,影响就大了。
  2. 剪枝损失的是复杂推理。只修掉闲置通路影响很小;一旦激进地剪进深层通路,模型会明显变蠢,尤其是需要多步推理的任务。
  3. 蒸馏损失的是原创解题能力。学生模型能把老师的风格学得惟妙惟肖,但碰上一道老师没教过的全新逻辑题,它很可能就卡住了。

压缩不是无损的,只是把损失挪到了你希望它出现的地方。 跑本地聊天助手的人可以接受语气不自然;要做多步推理的人不该激进剪枝;指望模型解决新问题的人,蒸馏出来的小模型未必够用。

所以「哪种技术最好」是个伪问题。该问的是:你的模型干什么用,你愿意在哪儿失分。ByteByteGo 这篇文章的结论也停在这里,选哪种、怎么组合取决于目标,没有通用最优解。

量化 压到 8 位几乎无感 压到 4 位以下影响大 细腻度 语气, 具体事实 剪枝 修闲置通路影响小 剪进深层才变蠢 复杂推理 多步逻辑 蒸馏 风格学得很像 老师没教就卡住 原创解题 没教过的新题
三种技术的失分点各不相同。选哪种,取决于你的模型用来干什么、愿意在哪儿失分。