AI 答题前先查资料

企业用的 AI 客服不靠「记住」公司文件来回答问题,它是每次现查。

语言模型的知识来自训练时看过的东西。公司内部的退款政策、上周刚改的价目表、没公开的源代码,它一概不知道。每改一次文件就重训一次模型,成本高到没人会这么干。

于是有了 RAG(检索增强生成,意思是「先查资料再回答」的一套做法)。它把「会说话」和「知道事」拆成两件事:语言模型负责理解问题、组织文字,公司文档库负责提供事实。

这套系统干活分两段。第一段是提前建档:把文档收集起来、切成一小段一小段(行话叫「chunk」,就是一个个小段落),每段转换成一串数字存进数据库,顺便记下标题、日期、版本这些附加信息。第二段是现场查询:用户提问时,问题也被转换成同样的一串数字,系统拿它去比对,挑出最接近的几段,通常是 5 段左右,塞进语言模型的输入里,让它照着写答案。

为什么不干脆把整个文档库全塞给模型?一是塞不下,二是塞满了无关内容反而干扰判断,三是又慢又贵。所以中间必须有一道筛选,把几千段压缩到五段。这道筛选,才是整件事的命门。

1 · 问题转坐标 用户提问经过同一个嵌入模型 2 · 找最近的点 在文档坐标里找位置最接近的 3 · 捞回几段 通常只取最接近的 5 段 4 · 过滤重排 筛掉过期内容,调整顺序 5 · 模型作答 只依据这几段写答案 语言模型只出现在最后一步,前四步它什么都看不到。
RAG 回答一个问题要走五步,语言模型只管最后一步。前四步任何一步捞错,第五步无从补救。

把意思变成坐标

负责筛选的是一个叫「嵌入模型」的翻译器,它把每段文字变成一个坐标点,意思相近的点挨在一起。

嵌入模型(embedding model,把文字翻译成一串数字的模型)输出的就是一串数,可能是 384 个数、768 个数,也可能上千个。

这些数字没有一个是「可读」的。你没法指着其中某个值说「这个代表订阅」、另一个「代表退款」。意思是被摊开、分散在整串数字里的。

An embedding model is trained to place text with related meaning near each other within this mathematical vector space.

把这串数字理解成一个点的坐标就行。嵌入模型被训练成:意思接近的文字,坐标也接近。所以它能把「年度套餐」和「annual subscription」连上,能把「我想把钱要回来」和「申请退款」连上。关键词搜索在这里会彻底失灵。 问的人和写文档的人用词不一样,关键词就对不上;而嵌入模型比的是意思,不是词。

还有一个容易被忽略的细节:提问和文档长得根本不一样。用户问的是一句短问句「买了六周还能退吗」,文档里写的是一句陈述「年度订阅 30 天内可退」。专门训练来匹配「问句↔答案段落」的模型,和只会匹配「相似句子」的模型,是两回事。

384 / 768 / 1024 一段文字常见被转成多少个数 5 一次提问通常只捞回几段 512 → 8192 单段能吃多少词,差 16 倍
三个决定 RAG 系统形状的数:向量有多长、一次捞几段、一段最多能多长。8192 相对 512 是 16 倍。

相关不等于正确

嵌入模型找的是「意思接近」,客服需要的是「真能回答这个问题」。这两件事经常不是一回事。

客户问「退款批下来后多久到账」,系统找回一段「购买后 30 天内可申请退款」。都在讲退款,意思当然接近,但一个讲时限一个讲到账时间,答非所问。

最危险的一类是否定句。「管理员可以删除已归档项目」和「管理员不能删除已归档项目」,除了一个「不」字完全相同。在坐标系里,这两句话几乎重叠,意思却完全相反。

数字也一样。「30 天内可退」和「60 天内可退」在嵌入模型眼里高度相似,而决定答案对错的恰恰是那个数字。文章开头那个 45 天的例子,根子就在这里。

还有几种典型的翻车方式:

  1. 同词不同对象:问「怎么改账单地址」,找回「怎么改账户邮箱」,都在改账户信息,改的却不是同一个字段。
  2. 新旧版本混淆:知识库里旧政策和新政策并存,文字几乎一样只差一个日期或金额。坐标分不出哪份是现行有效的,只能靠附加信息强行把过期内容排除。
  3. 行业黑话:capture 在日常英语里是「捕获」,在支付行业里指「请款」;port 可以是网络端口、硬件接口,也可以是把软件移植到别的平台。拿通用网页文本训练出来的模型,处理法律合同、病历、财报、源代码时会栽跟头。
  4. 复合问题:「我能取消订阅吗?退款要多久?」这需要至少两段文档,一段讲资格一段讲时效。只找回其中一个主题,答案必然残缺。
嵌入模型在找什么 意思相近的文字段落—— 用词不同也能对上 它没在找什么 真能回答这个问题的 那一段
「意思相近」和「能回答问题」是两件事。「30 天内可退」和「退款多久到账」都在讲退款,只有一个能答题。

换更强的模型没用

语言模型只看得见被递到它面前的那几段文字,没被找出来的东西,它压根不知道存在。

很多团队发现 AI 客服答错,第一反应是换个更强的语言模型,或者把提示词改得更严格。

没用。语言模型看到的只有用户的问题 + 系统挑出来的那五段文字,整个数据库里其他内容对它来说不存在。退款政策那段没被检索到,它不会觉得「少了点什么」,它只会拿手上有的东西凑出一个答案。

可能的结局有五种:

  1. 用训练时学到的通用常识作答(对不上你公司的政策)
  2. 硬套一段沾边但不对口的内容
  3. 编一条听起来很合理的规则
  4. 老实说「现有资料不足」
  5. 把几段互相矛盾的内容拼成一个错误结论

只有第四种是安全的,而更强的模型无非是提高第四种的概率。它依然变不出那份没被找到的文档。像「只准根据提供的资料回答」这类指令能减少胡编,但它没法让正确的文档凭空出现。

实际后果很直接:排查问题时,第一件事是去看系统到底捞回了哪几段文字,而不是去改提示词、换模型。在生成环节修检索环节的毛病,费时几倍。

怎么挑这个翻译器

挑嵌入模型只有一条主线标准:它能不能把用户的短问句,准确连到那段真正含答案的长文字。

跑分高不代表在你这儿好用。需要盯的是这几项:

  1. 行业词汇:模型得听得懂你的文档和你的用户在说什么。产品界面上叫「年度套餐」、法务合同里叫「年度服务协议」,模型要能把这两个连起来。缩写、内部产品代号、技术术语都得单独测。
  2. 语种:文档和提问可能不同语言,得能跨语言对上。
  3. 向量长度:就是每段文字被转换成多少个数字。数字越多存的信息越细,但更长不保证检索更准,存储成本却是实打实地涨。
  4. 单段最大长度:能吃 8192 个词的模型比只能吃 512 个的能处理长得多的文本。但这不意味着该把整份文档当一段塞进去。一大段里同时讲了退款、取消、账单地址,一个具体问题反而更难精确匹配到它,不如切成专注单一主题的小段。
  5. 速度与成本:建档速度决定初次处理全部文档要多久,查询速度影响每一次用户请求。每秒能处理多少段、单次查询延迟多少、要不要 GPU、占多少内存、跑起来多少钱。为了那么一点准确率提升而让延迟大涨的模型,不值得选。

换模型等于重来一遍

每个嵌入模型有自己的一套坐标系,换模型意味着整个文档库必须重新转换一遍,不能新旧混用。

A 模型给文档发的地址,和 B 模型给问题发的地址,不在同一张地图上。即便两者输出的数字个数完全相同,每个数字代表的含义也不一样,拿来比对纯属鸡同鸭讲。

所以迁移不是「换个模型跑一下」那么简单。全部文档要重新转换、重建索引、重新配好附加信息和访问权限;迁移期间新增和修改的文档还得同步;测完检索质量才能切流量;还得留一条随时能退回去的路。账单包括接口调用费或 GPU 时长、建索引的时间、迁移期间双份存储、数据传输、评估人力,以及出岔子的风险。

更麻烦的是,换模型必然改变排序结果。跑分更高的模型,在你自己的行业词汇上可能反而更差。 不拿自己的真实问题测一遍,根本不知道答案质量是升了还是降了。

几个让未来换模型不那么痛的做法:

  1. 切好的原始文本要留底,别让向量数据库成为处理后文本的唯一存放地。
  2. 每段文本配一个固定编号和一个内容指纹,靠指纹判断内容是否变过、要不要重新转换。
  3. 每条向量记录旁边存清楚:模型名、模型版本、向量长度、问句与文档的格式、归一化方式、切分版本、生成时间。
  4. 新模型用新索引,绝不和旧向量混在一起。

安全的迁移长得像「蓝绿部署」:旧索引继续对外服务,新索引在旁边悄悄建好,验证通过再切换。需要重建的也不只是换模型,改切分策略、换解析器、改清洗规则、调整存储长度,同样得重来。

项 前 后 文档向量 A 模型的坐标系 全部重新生成 索引 一套在跑 新建一套并行 存储账单 单份 迁移期间双份 排序结果 已知已调优 必须重测一遍
换一个嵌入模型要付的账:四项全动。跑分更高的新模型,在你的行业词汇上未必更准。

套娃向量:一次生成多种尺寸

有一类嵌入模型被训练成「掐掉后半截还能用」,让你在存储成本和检索精度之间自己选。

普通嵌入模型输出的那串数字是一个整体,各位置协同工作,砍掉一大半检索质量就崩了。

套娃向量(Matryoshka embeddings,得名于俄罗斯套娃)在训练时就被要求:只取前 256 个数要能用,只取前 512 个数要更好用,全部 1024 个数最完整。靠前的数字装粗略轮廓,靠后的数字补细节。

由此有三种存法:

  1. 只存短的:生成后只留前 256 个数。索引小、搜得便宜,但丢掉的部分永远回不来,想升级到更长的向量只能重新生成。
  2. 全存下来、只拿短的去搜:完整向量放进便宜的存储,短向量进快速索引。将来想换更长的索引,直接从存好的完整向量重建,不用再跑一遍模型。
  3. 两段式检索:先用 256 个数在全库粗筛,再把候选的完整向量调出来精确比对。大范围搜索的成本降下来,最终精度不打折。

有一点别搞混:套娃向量解决的是同一个模型内部的尺寸取舍,不解决不同模型之间的不兼容。 换模型,该重来还是得重来。

掐掉后 768 个 留底 两份都留 换到 换到 换到 粗筛阶段省 精度不打折 完整向量 1024 个数 只存短的 留前 256 个 全存 + 短索引 长的进冷存储 两段式检索 短的粗筛 + 长的精比 省存储 索引小、搜得便宜 留退路 不重跑模型即可升级
同一个套娃向量的三种存法,换来的东西不同:只存短的最省但没退路,全存下来贵一点但将来能升级。

这篇文章该怎么读

这是一篇没有厂商偏向的工程科普,但它把「嵌入模型最重要」这个结论说得比证据能支撑的更硬。

作者 ByteByteGo 是做系统设计科普的技术博客,没有推销任何一家的嵌入模型,通篇给的是通用方法论。这类内容的价值在于把坑提前说清楚,而不是给你一个可以照抄的答案。

但有两处值得留神。第一,「嵌入模型是 RAG 里最重要的部分」是一个断言,不是结论。文章自己也承认,检索质量还取决于文档是否齐全、解析有没有把内容弄坏、怎么切分、版本怎么管、附加信息过滤是否有效、重排序有没有改善候选列表。把这么多变量之首定为嵌入模型,是经验判断,文中没给对照实验。

第二,全文没有一个真实数字。384、768、1024、8192、256 这些都是规格参数,不是测量结果。哪个模型在哪个行业能提升多少准确率、迁移一次实际花多少钱、套娃向量省下多少存储,一个都没有。这不是缺陷,科普文本来就不承担这个,但读者别把它当选型报告用。

真正能带走的是那条排查顺序:AI 答错时,先看它捞回了什么,再考虑动模型和提示词。 这一条不需要任何数据支撑就成立,而且大多数团队的顺序是反的。