模型就是一堆数字
语言模型的「智能」不在代码里,它藏在几百亿个数字彼此的关系中。
普通软件靠程序员写死的判断跑起来:用户点了这个按钮,就执行那段代码。ChatGPT 这类大语言模型不是这么工作的。
它的本体是一大堆数字,业内叫 权重(weights,也叫参数,就是模型训练完固化下来的一串数值)。700 亿参数,意思就是 700 亿个数字。 每个数字通常占 16 位、也就是 2 个字节,2 乘以 700 亿,正好是 140 GB。这就是模型的「体积」。
这些数字按矩阵排列,一个权重矩阵常见的规格是 4096 乘 4096,一张就是约 1670 万个数字。一个 700 亿参数的模型有几百张这样的矩阵,堆在大约 80 层里。模型跑起来还需要别的东西:负责调度数据的 Transformer 架构、装着对话内容的上下文窗口。但架构不过几百行代码,一次对话的提示词不过几 KB。真正占地方的只有权重。
单个数字本身毫无意义。 打开模型文件翻到第 N 个权重,看到 0.0293,旁边是 -0.0117、0.004、-0.0862。单看每一个都是废话。能力藏在它们彼此的关系里。
三条路,都是动数字
缩小模型只有三种办法:数字记得粗一点、删掉一些数字、另造一个小模型模仿大的。
既然模型就是权重,压缩模型无非是在权重上做文章。三种主流技术对应三个动作:
- 每个权重存得粗糙一点,业内叫量化(quantization)。权重一个不少,只是每个记录得没那么精确,比如 2 个字节缩成半个字节。
- 把没用的权重删掉,叫剪枝(pruning)。找出那些对结果几乎没贡献的数字,直接抹掉。
- 造一个小模型去模仿大模型,叫知识蒸馏(knowledge distillation)。原模型完全不动,另外训练一个更小的模型,让它的行为尽量像原来那个。
还用照片打比方:量化是换一台便宜点的相机重拍,分辨率稍低;剪枝是把照片边缘的空白裁掉;蒸馏是请一位画师照着原作重画一张四分之一大的。
三种技术可以叠着用。 一个模型可以先被造它的实验室蒸馏一遍,再被某个研究团队剪枝,最后由用户在装进自己电脑前量化一次。层层叠下来,原本要数据中心才跑得动的模型,才有机会落到一块消费级显卡上。
精度是可以省的
权重存成 0.02934517 还是 0.029,模型的输出几乎没差别。多出来的那些位数是白花的存储。
量化的出发点很朴素:大量存储花在了根本不重要的精度上。
训练模型时确实需要高精度,因为训练就是对每个权重做几百万次极其细微的调整,用的是 32 位浮点数(每个数占 4 个字节)。但模型训练完、要发出去给人用的时候,精度通常已经降到 16 位。还能再降。
降的代价要看数字是怎么构成的。一个浮点数把位数分成三部分:符号、指数、尾数。32 位格式里,1 位给符号、8 位给指数、23 位给尾数。16 位的 BF16 格式保留了全部 8 位指数,只把尾数砍到 7 位。能表示的范围和 32 位一样大,只是细节粗了。
换成整数,性质就变了。 一个 8 位整数只能表示 -128 到 127 之间的整数,4 位整数只能表示 -8 到 7。没有指数,也就没有了「刻度」。把浮点数转成整数,丢的不只是精度,还有每个权重自带的量级信息。所以量化的技巧全在于怎么把丢掉的刻度找补回来。
四位整数怎么装下小数
量化的做法是:给一小组权重量一次刻度,把每个数换算成 -7 到 7 的整数,刻度单独存一份。
具体看一组真实数字。取八个相邻的权重:0.021、-0.017、0.004、-0.048、0.011、0.033、-0.006、0.070。
第一步是量刻度。 这八个数最大的绝对值是 0.070。目标精度定为 4 位,也就是只能写 -7 到 7 的整数,每个方向七格。于是一格 = 0.070 ÷ 7 = 0.010。
第二步是四舍五入。 每个权重除以 0.010,取最近的整数。0.021 变成 2,-0.048 变成 -5,0.070 变成 7。最终写进模型文件的就是这些 -7 到 7 之间的整数。
第三步是存刻度。 0.010 这个数被叫作缩放因子,整组只存一份。要读回权重时,把整数乘回去:2 × 0.010 = 0.020。原值是 0.021,有误差,但很接近。
这里的「一组」指一小撮相邻的权重,不是整个模型,业内叫一个块,块越小越好。拿整个模型的最大值当刻度,一个极端的离群数字会把刻度拉得很粗,所有正常数字都被压扁。分成小块,每块各量各的刻度,误差才控制得住。
量化跑完,模型还是原来那个模型:权重数量一样、矩阵一样、层数一样,只是每个数字记得粗了一点,占的地方少了一大截。
删掉的是没人走的路
训练会产生几十亿个几乎为零的权重,它们在训练期有用,训练完就是死重量。
剪枝走的是相反的路:干脆删掉一批权重。
大部分权重的值都贴近零,比如 0.00004、-0.0011,小到对输出没有任何实质影响。训练过程会产生几十亿个这样的数。它们在模型成形的过程中有用,成形之后就成了死重量。
可以想成城市地图上那些从来没人走的小路和支线车道:画在图上,删掉,通勤的人不会受任何影响。
问题是删哪些。 最省事的办法是按绝对值排序,离零最近的先删。按这个办法删掉 20%,对一个 700 亿参数的模型来说就是抹掉 140 亿个数字。但这个办法有漏洞:一个权重的影响力不只看它自己多大,还看它坐落在哪条通路上。一个数值不大、却处在高频通路上的权重,作用可能超过一个数值大但没人经过的。
更靠谱的做法是先拿几百段样本文本喂进模型,观察每个权重实际接收到的输入有多大,再综合打分决定去留。
抹成零还是整块切
剪枝有两种下刀方式:抹成零对模型伤害小但省不下算力,整块切除能真正缩小矩阵但会误伤。
选好了删哪些,还有怎么删。
第一种是把选中的权重设成零。 对模型的损伤最小,但留下的是一张零星散布着零的矩阵,没有任何规律。显卡照样得拿这些零参与运算。省了意义,没省算力。
第二种是整块切除结构件:砍掉一整个模拟神经元、一个注意力头、甚至一整层。矩阵是真的变小了,运算量实打实地降了。但这一刀下得粗:删掉一个神经元,意味着连在它身上的所有权重一起消失,其中难免有几个是重要的。
所以剪枝很少单独用,它更像是配合别的技术时的一道工序。指望靠它把模型压下来,通常不划算。
老师在卷子上写批注
蒸馏不改原模型。它让大模型当老师,教出一个小十倍的学生模型。
第三种技术换了个思路:不动原模型,另起炉灶造一个小的。
大模型叫教师模型,用同一套架构从零搭一个层数更少、矩阵更小的新模型,比如把 700 亿压到 70 亿,这个新模型叫学生模型。它出生时权重全是随机的,毫无意义。
学生对着老师的行为学。 同一段输入喂给师生两边,不断调整学生,让它的输出尽量贴近老师的输出。
这比直接拿原始数据训练更有效,原因在于模型预测下一个词时产出的是一整份概率:词表里每个词各占多少。给出「the cat sat on the……」,老师模型的回答是「mat 41%、floor 12%、couch 9%」这样一整份分布。普通训练只告诉学生正确答案是「mat」;蒸馏把整份分布都给它。 学生因此知道「couch」也算合理猜测,而「purple」相当离谱。
就像老师批卷子:只打勾和叉,学生只知道对错;写上批注,学生才知道错在哪、差多远。
代价是训练成本。让一个巨大的教师模型在海量数据上跑一遍,需要数据中心级别的资源。但这笔账由实验室付。使用者这边只是下载一个跑得动的小模型。
变笨是真的,但有分寸
三种技术都会让模型变笨一点,关键是知道每种会在哪一类任务上先崩。
压缩必然损失智能,问题只是损失多少、损失在哪。这三种技术的「失分点」并不相同:
- 量化损失的是细腻度。模型可能丢掉对极端语境的把握、忘记一些非常具体的事实、语气不那么自然。但程度高度取决于压到哪一档:从 32 位降到 8 位几乎察觉不到差别,压到 4 位甚至更低,影响就大了。
- 剪枝损失的是复杂推理。只修掉闲置通路影响很小;一旦激进地剪进深层通路,模型会明显变蠢,尤其是需要多步推理的任务。
- 蒸馏损失的是原创解题能力。学生模型能把老师的风格学得惟妙惟肖,但碰上一道老师没教过的全新逻辑题,它很可能就卡住了。
压缩不是无损的,只是把损失挪到了你希望它出现的地方。 跑本地聊天助手的人可以接受语气不自然;要做多步推理的人不该激进剪枝;指望模型解决新问题的人,蒸馏出来的小模型未必够用。
所以「哪种技术最好」是个伪问题。该问的是:你的模型干什么用,你愿意在哪儿失分。ByteByteGo 这篇文章的结论也停在这里,选哪种、怎么组合取决于目标,没有通用最优解。