搜一次,还是搜很多次
企业内部搜索有个两难:一次搜完最快,但复杂问题一次搜不全;反复搜更准,用户就得多等。
Databricks 的产品里有一类叫数据 agent(能自己拆解任务、连续干活的 AI 程序)的东西,比如帮人写查询的 Genie Code。它干活的第一步永远是找材料:公司数据仓库里成千上万张表、笔记本、看板和文档,哪几份和你这个问题有关。
材料找错,后面全错。所以找材料这一层既要准又要快。用户盯着屏幕等结果,多搜一轮就多一份等待。
今年早些时候 Databricks 发过一个叫 Instructed-Retriever-1 的检索模型,一次铺开搜完就返回,大部分请求够用。但有些问题得分好几步才查得清:先查出某个客户用了哪个组件,再拿这个组件去查谁还提过它。这种多跳问题(答案藏在两三条线索的接力里)一次搜索碰不到,必须让模型搜完一轮、看看手上有什么、改写问题再搜下一轮。准是准了,时间也翻上去了。
让模型自己踩刹车
新模型 Adaptive Instructed-Retriever 的办法是:给搜索轮数设一个硬上限,再训练模型自己判断每个问题该搜几轮。
只在多花的搜索步数确实有用时,才去花它。
这是 Databricks 给这个模型定的目标。落到具体行为上:每搜完一轮,模型自己掂量手上的证据够不够回答问题,够了立刻返回,不够就继续,但总步数不能超过预设上限。
博客里给了两道题做对照。简单的一道是「某公司 2022 财年的利润表里有没有单列重组费用」,它比 Claude Sonnet 5 早一步、比 GPT-5.6 Luna 早两步拿到同样的结果。难的一道是「哪些客户用过或考虑过 LiteLLM Proxy」,它中途换了打法,从大范围摸底切换成按账户逐个定向搜,最后拿到最高分,用的步数和 Claude Sonnet 5 一样少。
多搜一步要罚分
何时该停,不是写死的规则,是训练里罚出来的:多搜一步却没换来更好的结果,就扣分。
训练用的是在线强化学习(让模型不断试、按结果打分、慢慢学会哪种做法更划算)。打分同时看两件事:这次检索最终的质量,和路上花掉的搜索步数。找得准加分,白搜一轮扣分。
训练数据全是合成的:沿用 Instructed-Retriever-1 那批数据,保住一次搜完的快;再另造一批必须多跳才能答的问题,逼它练出「什么时候该继续」的判断。整套配方刻意做得轻。从一个现成的基础模型起步,加不多的合成数据,只改它的搜索行为,不重新训一个大模型。
5.8 秒
在 Databricks 自己的企业检索基准和公开基准上,这个小模型成绩追平三个主流模型,端到端只用 5.8 秒,快出一倍以上。
对比的三个是 Claude Sonnet 5、GPT-5.6 Luna,和开源的 DeepSeek-V4-Flash。Databricks 给出的数字是:检索质量打平,平均端到端耗时 5.8 秒,比三者中任何一个都快两倍以上。按这个倍数推算,另外三个至少要 11.6 秒起步(这是推算,原文只给了倍数,没公布它们各自的秒数)。
对用户来说,这个差距就是点一下之后等一口气,还是等到开始怀疑是不是卡住了。另一半提升在自家纵向比:多步搜索相对原来的一次搜完,检索分数有明显提高。快是和别人比出来的,准是和自己上一代比出来的。
一个旋钮,一排模型
罚分的轻重是个可调旋钮:调轻,模型愿意多搜、分数更高;调重,它更早收手、延迟更低。
Databricks 把惩罚力度从轻到重扫了一遍,每个力度训出一个检查点(训练途中存下来的一个模型版本)。它们在「质量对延迟」这张图上各占一个位置,连起来是一条曲线。
关键在于这条曲线整体压过了没经过这套训练的基础模型:同样延迟下分数更高,或者同样分数下更快。提升不是靠多搜硬堆出来的,是模型学会了什么时候该搜、什么时候不该搜。
上线挑哪个版本于是成了一道产品题:交互场景用户等不起,选偏快的;离线跑难任务不赶时间,选偏准的。
小模型能占的位置
这件事真正的看点不是快了多少,而是一个小而专的模型,在需要多步推理的任务上追平了通用大模型。
过去几年的默认做法是:任务一复杂就上最强的通用大模型。Databricks 这组结果是个反例。像检索这样目标明确、好坏能定义清楚的任务,一个小模型加一批合成数据、再加一套带成本惩罚的强化学习,质量能追平,速度和成本上明显占优。
这条路同时也是生意:训练用的 AI Runtime(AIR)对客户开放,别人可以照这个方子给自己的领域训专用模型。这篇博客既是技术结果,也是产品演示。
要压住的一点是:追平只发生在检索这一件事上。那三个通用模型在测试里是被当成检索器来用的,它们本来的用途宽得多。这组对比说明的是「专用小模型在窄任务上够用且更划算」,不是「小模型赢了大模型」。