先审数据,再写模型

这篇教程在训练任何模型之前,先给数据做了三项体检:排序、长度、重复。

教程把这三项直接标成了「陷阱一、二、三」,每一项都用几行代码当场验一遍。

  1. 排序:打印训练集开头 5 条和结尾 5 条的标签,开头全是差评、结尾全是好评。数据是按标签归好类的,所以任何按顺序切一小块的做法都会切出一堆同类样本,必须先打乱再取。
  2. 长度:统计每条影评有多少个单词,再和模型一次能读进去的上限比,看有多少条会被截断。
  3. 重复:把每条影评的文字算成一串指纹,再看训练集和测试集之间有没有一模一样的指纹。有,就等于让模型提前看过考卷。

这三件事都不需要模型,只需要几行统计代码,但漏掉任何一项,后面所有的准确率都不值得信。第三项尤其隐蔽:一个在测试集上考了 95 分的模型,如果它训练时就背过其中一部分原题,这个 95 分说明不了它读一条新影评时的表现。

一 · 审数据 查排序、长度、重复 二 · 老办法打底 数词频的分类器当及格线 三 · 挂 LoRA 微调 冻住主干,只训小插件 四 · 不止看准确率 校准、错误、逐词溯源 五 · 借无标签数据 高把握伪标签再训一轮 教程的默认配置只用 5000 条影评训练,是演示规模,不是实验规模。
教程的五步流程。前两步不动模型,第四步不产生新模型——真正在训练的只有第三步和第五步。

先让老办法打个分

上大模型之前,教程先用一套只会数词频的老方法跑出一个成绩,当作后面所有模型的及格线。

这套老方法叫 TF-IDF 加逻辑回归:先统计每条影评里出现了哪些词、哪些两词搭配,给越少见越有辨别力的词更高的权重,再用一个简单公式把权重加起来判正负。它不理解语义,只认词表。

它的好处是快和透明。 在普通电脑上几秒钟训完,训完可以直接把它认为最像差评和最像好评的词组打印出来看,判断依据完全摊在明面上。

这就是基线(故意做得简单、用来衡量复杂方法值不值的参照成绩)的意义:如果一个神经网络费半天劲,准确率只比数词频高一两个点,那这半天劲就该重新算账。教程给这个老办法配了 30 万个词组特征和调过的参数,没有随便糊一个弱对手来陪跑。

只动一小撮参数

微调时教程冻住了模型的绝大部分,只在两个内部零件旁挂上一小组新参数来训练。

教程用的 DistilBERT 是一个体积压缩过的开源语言模型,小到能在一张免费显卡上训得动。微调(拿一个已经训练好的通用模型,用自己的数据再教它一段,让它适应具体任务)最直觉的做法是把整个模型的参数都更新一遍。这很贵:要为每个参数存下调整量,显存吃紧,训完还得再存一整份新模型。

LoRA换了个思路。原模型全程锁死,只在几个关键位置旁边挂一组很小的新参数,训练时只更新这几组小的。教程挂的位置是模型里负责「该注意哪个词」的两个零件,加上最后那层做二选一判断的分类头,挂上去的小参数用了 16 这个尺寸。训完之后教程调用一次合并,把这些小参数算回原模型里,存成一个普通模型直接拿来用。

代价也要说清楚:教程的默认配置只训练 5000 条、跑 2 轮,是演示规模。 作者注明,要跑完整的 2.5 万条训练加 2.5 万条测试,在一张 T4 显卡上约需 40 分钟。

LoRA 改了什么 在模型两个内部零件旁 挂一小组新参数, 训练时只更新这一小组 和最后的分类头 它没有改什么 原模型的绝大部分参数 全程冻结, 原有的语言能力 被原样保留
微调常被当成「把整个模型重训一遍」,LoRA 不是。教程只在两个内部零件上挂了小插件,尺寸取 16,训完再合并回去。

准确率之外还得看什么

教程要求模型不只是答对,还要在说自己有九成把握时,真的有九成是对的。

模型输出的从来不是「好评」两个字,而是一个 0 到 1 之间的概率,默认超过 0.5 就判好评。教程做了两件事检查这个数字靠不靠谱。

第一件是把判定线从 0.05 一路挪到 0.95,每挪一格算一次准确率,看 0.5 是不是最优的那一格。很多时候不是。这在真实产品里有意义:如果把差评错判成好评的代价更高,判定线本来就该往上挪。

第二件是量校准(模型报出的把握程度,和它实际答对的比例是否吻合)。教程把所有预测按把握程度分成十档,每档里比一比「平均说自己多有把握」和「实际答对多少」,差距加权平均起来就是一个叫期望校准误差的数,越接近 0 越诚实。一个准确率很高但严重高估自己的模型,在需要按把握值做取舍的场景里是危险的。 你没法拿它的把握值当门槛用。

专挑错得最理直气壮的

教程把模型答错、而且错得最有把握的三条影评原文打印出来,一条条读。

衡量把握的方法很朴素:模型说 0.98 是好评,把握就是 0.98;说 0.03 是好评,等于它在以 0.97 的把握说差评。取两者里大的那个,就是它的自信程度。

错误不都一样值钱。 一条模型判 0.51、结果错了的影评,说明它本来就在犹豫,没什么可挖的。一条模型判 0.99、结果错了的影评,说明它读到了某个让它极度确信的信号,而那个信号是错的。这类样本暴露的往往是系统性误读:反讽、先褒后贬、大段引述剧情里的负面台词。

教程把这三条的原文前 400 字直接打出来,连同真实标签、预测标签和把握值。这一步没有指标可看,只能人读。

逐个删词,看它在看哪

想知道模型凭哪个词判的好评,教程把同一段影评删掉一个词跑一遍,每个词轮一次。

做法很直接:取影评的前 60 个词,先完整跑一次拿到基准概率;再做出 60 个残缺版本,每个版本少掉一个词,各跑一次。哪个词被删掉之后好评概率掉得最多,哪个词就是模型的主要依据。

这套办法叫遮挡法,朴素但结论明确。它不需要你理解模型内部结构,只看「拿掉它会怎样」。代价是慢:一段 60 个词的文字要跑 61 次,想看完一条 300 词的影评就是 301 次,所以教程只挑了一条样本、只看前 60 个词。

结果画成一张横条图:绿色的词往好评推,红色的词往差评推。这是全篇唯一能看到「模型在看哪里」的地方。 前面所有的准确率、校准误差,说的都只是结果,不是依据。

61 次 看清一个词的作用要跑的次数
要知道哪个词让模型判了好评,教程把同一段 60 词的影评跑了 61 遍:完整跑一次做基准,再逐个删词各跑一次。

长影评被拦腰砍断

模型一次只读得下约 256 个 token,超出的部分直接丢掉,而影评的态度常常压在最后一句。

token是模型切分文字的单位,英文里大约 1.3 个 token 对应一个单词,这个换算系数是教程自己给的。所以 256 个 token 的上限,大约相当于 200 个英文单词。一条认真写的影评轻松超过这个数,超出的部分被一刀切掉。

教程为此设计了一个直接的实验:挑出评估集里最长的 600 条影评,一次只喂开头 180 个词,一次只喂结尾 180 个词,比两次的准确率。这个实验问的是:影评的态度到底写在哪一段。 不少人写影评的习惯是先复述半天剧情,最后一句才亮态度:「总之别看」。如果真是这样,只保留开头正好把最关键的一句扔了。

教程给的对策写得很明确:

如果结尾那半赢了,就把开头和结尾拼起来喂给模型,或者调高长度上限,而不是无脑地只截取开头。

它还留了第三条路:换一个一次能读 8000 个 token 的模型,长度问题直接消失。

让模型自己造标注

教程让微调好的模型给 3000 条没人标注的影评打分,只留把握超过 95% 的,再喂回老办法重训一遍。

这份数据集里除了标好的影评,还有一批没有标注的。教程随机取 3000 条,让刚训好的模型逐条打分,只保留概率高于 0.95 或低于 0.05 的那些,也就是模型极有把握的部分,把模型的判断当成标注留下来。这叫伪标签(拿模型自己的高把握预测冒充人工标注,再送去训练)。

然后把这批伪标注接在原来的 5000 条真标注后面,重新训练那个数词频的老方法,和它原来的成绩比一比。

教程自己在代码注释里写了警告:

提升的上限由老师决定。自训练还会放大老师的偏见,永远要在干净的、留出来的数据上验证。

意思很直白:新模型学的是老模型的判断,老模型看错的地方,它照单全收,而且因为看到了更多同类样本,错得更笃定。 更麻烦的是,模型最有把握的那批样本往往也是最简单的样本,里面本来就没多少新信息。

它给的是清单,不是结论

这篇教程从头到尾没有报告一个实测数字,所有成绩都要你自己跑完才知道。

准确率多少、校准误差多少、开头赢还是结尾赢、伪标签是提升还是拖后腿,文章里全是空的:这些数字由代码在运行时打印,正文只描述了怎么算。那句关于截断的对策,原话就是条件句:「如果结尾赢了」。作者并没有说结尾赢了。

所以它的价值不在「某个模型有多准」,而在把一串最容易被跳过的动作变成默认流程:训练前查重复、报准确率之外看校准、把最自信的错误捞出来读、验一验长文本被截断损失了什么。这几步在赶进度时最先被省,省掉之后模型照样能跑出一个好看的数字。

它的默认配置也要看清楚:5000 条训练、2 轮、每条最多 256 个 token。这是能在免费显卡上几分钟跑完的演示规模,不是能下结论的实验规模。作者留了一个开关,打开就是完整的 2.5 万条对 2.5 万条。要拿这套流程去支撑任何一句「A 比 B 好」的判断,得先把那个开关打开。