AI 答题前先查资料
企业用的 AI 客服不靠「记住」公司文件来回答问题,它是每次现查。
语言模型的知识来自训练时看过的东西。公司内部的退款政策、上周刚改的价目表、没公开的源代码,它一概不知道。每改一次文件就重训一次模型,成本高到没人会这么干。
于是有了 RAG(检索增强生成,意思是「先查资料再回答」的一套做法)。它把「会说话」和「知道事」拆成两件事:语言模型负责理解问题、组织文字,公司文档库负责提供事实。
这套系统干活分两段。第一段是提前建档:把文档收集起来、切成一小段一小段(行话叫「chunk」,就是一个个小段落),每段转换成一串数字存进数据库,顺便记下标题、日期、版本这些附加信息。第二段是现场查询:用户提问时,问题也被转换成同样的一串数字,系统拿它去比对,挑出最接近的几段,通常是 5 段左右,塞进语言模型的输入里,让它照着写答案。
为什么不干脆把整个文档库全塞给模型?一是塞不下,二是塞满了无关内容反而干扰判断,三是又慢又贵。所以中间必须有一道筛选,把几千段压缩到五段。这道筛选,才是整件事的命门。
把意思变成坐标
负责筛选的是一个叫「嵌入模型」的翻译器,它把每段文字变成一个坐标点,意思相近的点挨在一起。
嵌入模型(embedding model,把文字翻译成一串数字的模型)输出的就是一串数,可能是 384 个数、768 个数,也可能上千个。
这些数字没有一个是「可读」的。你没法指着其中某个值说「这个代表订阅」、另一个「代表退款」。意思是被摊开、分散在整串数字里的。
An embedding model is trained to place text with related meaning near each other within this mathematical vector space.
把这串数字理解成一个点的坐标就行。嵌入模型被训练成:意思接近的文字,坐标也接近。所以它能把「年度套餐」和「annual subscription」连上,能把「我想把钱要回来」和「申请退款」连上。关键词搜索在这里会彻底失灵。 问的人和写文档的人用词不一样,关键词就对不上;而嵌入模型比的是意思,不是词。
还有一个容易被忽略的细节:提问和文档长得根本不一样。用户问的是一句短问句「买了六周还能退吗」,文档里写的是一句陈述「年度订阅 30 天内可退」。专门训练来匹配「问句↔答案段落」的模型,和只会匹配「相似句子」的模型,是两回事。
相关不等于正确
嵌入模型找的是「意思接近」,客服需要的是「真能回答这个问题」。这两件事经常不是一回事。
客户问「退款批下来后多久到账」,系统找回一段「购买后 30 天内可申请退款」。都在讲退款,意思当然接近,但一个讲时限一个讲到账时间,答非所问。
最危险的一类是否定句。「管理员可以删除已归档项目」和「管理员不能删除已归档项目」,除了一个「不」字完全相同。在坐标系里,这两句话几乎重叠,意思却完全相反。
数字也一样。「30 天内可退」和「60 天内可退」在嵌入模型眼里高度相似,而决定答案对错的恰恰是那个数字。文章开头那个 45 天的例子,根子就在这里。
还有几种典型的翻车方式:
- 同词不同对象:问「怎么改账单地址」,找回「怎么改账户邮箱」,都在改账户信息,改的却不是同一个字段。
- 新旧版本混淆:知识库里旧政策和新政策并存,文字几乎一样只差一个日期或金额。坐标分不出哪份是现行有效的,只能靠附加信息强行把过期内容排除。
- 行业黑话:capture 在日常英语里是「捕获」,在支付行业里指「请款」;port 可以是网络端口、硬件接口,也可以是把软件移植到别的平台。拿通用网页文本训练出来的模型,处理法律合同、病历、财报、源代码时会栽跟头。
- 复合问题:「我能取消订阅吗?退款要多久?」这需要至少两段文档,一段讲资格一段讲时效。只找回其中一个主题,答案必然残缺。
换更强的模型没用
语言模型只看得见被递到它面前的那几段文字,没被找出来的东西,它压根不知道存在。
很多团队发现 AI 客服答错,第一反应是换个更强的语言模型,或者把提示词改得更严格。
没用。语言模型看到的只有用户的问题 + 系统挑出来的那五段文字,整个数据库里其他内容对它来说不存在。退款政策那段没被检索到,它不会觉得「少了点什么」,它只会拿手上有的东西凑出一个答案。
可能的结局有五种:
- 用训练时学到的通用常识作答(对不上你公司的政策)
- 硬套一段沾边但不对口的内容
- 编一条听起来很合理的规则
- 老实说「现有资料不足」
- 把几段互相矛盾的内容拼成一个错误结论
只有第四种是安全的,而更强的模型无非是提高第四种的概率。它依然变不出那份没被找到的文档。像「只准根据提供的资料回答」这类指令能减少胡编,但它没法让正确的文档凭空出现。
实际后果很直接:排查问题时,第一件事是去看系统到底捞回了哪几段文字,而不是去改提示词、换模型。在生成环节修检索环节的毛病,费时几倍。
怎么挑这个翻译器
挑嵌入模型只有一条主线标准:它能不能把用户的短问句,准确连到那段真正含答案的长文字。
跑分高不代表在你这儿好用。需要盯的是这几项:
- 行业词汇:模型得听得懂你的文档和你的用户在说什么。产品界面上叫「年度套餐」、法务合同里叫「年度服务协议」,模型要能把这两个连起来。缩写、内部产品代号、技术术语都得单独测。
- 语种:文档和提问可能不同语言,得能跨语言对上。
- 向量长度:就是每段文字被转换成多少个数字。数字越多存的信息越细,但更长不保证检索更准,存储成本却是实打实地涨。
- 单段最大长度:能吃 8192 个词的模型比只能吃 512 个的能处理长得多的文本。但这不意味着该把整份文档当一段塞进去。一大段里同时讲了退款、取消、账单地址,一个具体问题反而更难精确匹配到它,不如切成专注单一主题的小段。
- 速度与成本:建档速度决定初次处理全部文档要多久,查询速度影响每一次用户请求。每秒能处理多少段、单次查询延迟多少、要不要 GPU、占多少内存、跑起来多少钱。为了那么一点准确率提升而让延迟大涨的模型,不值得选。
换模型等于重来一遍
每个嵌入模型有自己的一套坐标系,换模型意味着整个文档库必须重新转换一遍,不能新旧混用。
A 模型给文档发的地址,和 B 模型给问题发的地址,不在同一张地图上。即便两者输出的数字个数完全相同,每个数字代表的含义也不一样,拿来比对纯属鸡同鸭讲。
所以迁移不是「换个模型跑一下」那么简单。全部文档要重新转换、重建索引、重新配好附加信息和访问权限;迁移期间新增和修改的文档还得同步;测完检索质量才能切流量;还得留一条随时能退回去的路。账单包括接口调用费或 GPU 时长、建索引的时间、迁移期间双份存储、数据传输、评估人力,以及出岔子的风险。
更麻烦的是,换模型必然改变排序结果。跑分更高的模型,在你自己的行业词汇上可能反而更差。 不拿自己的真实问题测一遍,根本不知道答案质量是升了还是降了。
几个让未来换模型不那么痛的做法:
- 切好的原始文本要留底,别让向量数据库成为处理后文本的唯一存放地。
- 每段文本配一个固定编号和一个内容指纹,靠指纹判断内容是否变过、要不要重新转换。
- 每条向量记录旁边存清楚:模型名、模型版本、向量长度、问句与文档的格式、归一化方式、切分版本、生成时间。
- 新模型用新索引,绝不和旧向量混在一起。
安全的迁移长得像「蓝绿部署」:旧索引继续对外服务,新索引在旁边悄悄建好,验证通过再切换。需要重建的也不只是换模型,改切分策略、换解析器、改清洗规则、调整存储长度,同样得重来。
套娃向量:一次生成多种尺寸
有一类嵌入模型被训练成「掐掉后半截还能用」,让你在存储成本和检索精度之间自己选。
普通嵌入模型输出的那串数字是一个整体,各位置协同工作,砍掉一大半检索质量就崩了。
套娃向量(Matryoshka embeddings,得名于俄罗斯套娃)在训练时就被要求:只取前 256 个数要能用,只取前 512 个数要更好用,全部 1024 个数最完整。靠前的数字装粗略轮廓,靠后的数字补细节。
由此有三种存法:
- 只存短的:生成后只留前 256 个数。索引小、搜得便宜,但丢掉的部分永远回不来,想升级到更长的向量只能重新生成。
- 全存下来、只拿短的去搜:完整向量放进便宜的存储,短向量进快速索引。将来想换更长的索引,直接从存好的完整向量重建,不用再跑一遍模型。
- 两段式检索:先用 256 个数在全库粗筛,再把候选的完整向量调出来精确比对。大范围搜索的成本降下来,最终精度不打折。
有一点别搞混:套娃向量解决的是同一个模型内部的尺寸取舍,不解决不同模型之间的不兼容。 换模型,该重来还是得重来。
这篇文章该怎么读
这是一篇没有厂商偏向的工程科普,但它把「嵌入模型最重要」这个结论说得比证据能支撑的更硬。
作者 ByteByteGo 是做系统设计科普的技术博客,没有推销任何一家的嵌入模型,通篇给的是通用方法论。这类内容的价值在于把坑提前说清楚,而不是给你一个可以照抄的答案。
但有两处值得留神。第一,「嵌入模型是 RAG 里最重要的部分」是一个断言,不是结论。文章自己也承认,检索质量还取决于文档是否齐全、解析有没有把内容弄坏、怎么切分、版本怎么管、附加信息过滤是否有效、重排序有没有改善候选列表。把这么多变量之首定为嵌入模型,是经验判断,文中没给对照实验。
第二,全文没有一个真实数字。384、768、1024、8192、256 这些都是规格参数,不是测量结果。哪个模型在哪个行业能提升多少准确率、迁移一次实际花多少钱、套娃向量省下多少存储,一个都没有。这不是缺陷,科普文本来就不承担这个,但读者别把它当选型报告用。
真正能带走的是那条排查顺序:AI 答错时,先看它捞回了什么,再考虑动模型和提示词。 这一条不需要任何数据支撑就成立,而且大多数团队的顺序是反的。