一个数据公司的 AI
Harmonic 手里攥着 4000 万家公司的资料,它的 AI 助手 Scout 负责把这堆数据翻译成人话。
Harmonic 是一家给投资人找创业公司的数据平台。数据库里装着 4000 万家公司、2 亿个人、23 万家投资机构:谁在做什么、融了多少钱、团队里都有谁。
Scout 是架在这堆数据之上的对话界面。你不用去学它的筛选器怎么用,直接打字问:「帮我找旧金山和纽约的 AI 公司,过去一年拿过顶级机构的钱,而且我团队里有人认识他们的人。」Scout 把这句话翻译成数据库能听懂的一串筛选条件,给你结果。
这篇文章是 LangChain 官方博客发的客户案例,LangChain 正是 Scout 底层开发框架的提供方。所以它讲的是「我们的工具帮客户做成了什么」,数字和结论都来自 Harmonic 自己。
第一版的天花板
旧版 Scout 每多一种能力,工程师就得手工搭一条新流水线。没搭过的问法,它一律答不了。
第一版 Scout 是一条条手工铺出来的路。工程师预先设想用户会问哪几类问题,为每一类写一段固定的处理流程,再配上大量测试保证它不跑偏。文章里说,光维护这套东西就需要 几百条测试。
问题在于:路修得再好,也只能走修过的地方。用户一旦问出设想之外的东西,整条流程直接失败。
真正把天花板顶穿的是两类新需求。有人想让 Scout 帮忙起草一封给创始人的个性化邮件,有人想拿一份抽象的投资思路,比如「我想投那些让小团队干出大公司活儿的工具」,让 Scout 按这个思路挑公司。这两件事都没法预先写成固定流程,它们本来就没有固定答案。
反过来做
Scout 负责人 Austin Berke 说,第二版的做法几乎是第一版的反面:不再搭结构,只给最强的模型配好工具,然后放手。
「以前我们花大量时间搭僵硬的结构、写测试、一个节点一个节点地死磕。这一版我们说:用最好最聪明的模型,给它一批能接到我们数据上的、设计得当的工具,看看它能干到哪一步。结果立刻就看到了惊人的改进。」
新架构简单得刻意。一个顶级模型,外加两类工具:一类去查 Harmonic 的全局数据,另一类去查这家投资机构自己的东西,包括正在跟进的项目清单、客户管理系统里的备注、过去的邮件往来、领英上的人脉关系。
底层用的是 Deep Agents(一种让 AI 能自己拆解任务、连续干很多步活儿的运行框架),它自带两件苦活:管住长任务不跑丢,以及管理 AI 的「记忆容量」。AI 一次能记住的内容有上限,活干长了就得决定扔掉什么、留下什么,这活原本得工程师自己写。
产品经理 Seth Wieder 的说法是:
「模型有它需要的自主权,不会一头撞进死胡同。我们一直在自省,要把结构保持得尽可能简单。」
最能说明变化的是一个被悄悄弃用的指标。团队原来有个内部目标,叫「Scoutcome」:Scout 的回答中有 80% 算得上好。现在这个指标没人再提了,因为稳定的质量成了默认状态。
从搜索框到顾问
第二版 Scout 不再是「你搜、它列、你再搜」,你可以在见面前十分钟扔给它一句「这个创始人我该知道什么」。
第一版的用法和所有数据工具一样:输入关键词,看一列结果,不满意就改条件再来一遍。
第二版变成了另一种东西。你可以把一份投资思路交给它,让它按这个思路挑五家公司。你也可以说「我十分钟后要见这个创始人,把我该知道的都告诉我」。Scout 会同时去翻你的客户管理系统、你和这家公司过去的邮件、你团队在领英上跟他们的交集,再加上这家公司的公开资料,最后把这些拼成一份给你。
它把散落在你整个工作系统里的东西,合成了一次回答。 这不是搜索,这是你身边那个记性特别好的同事。
AI 爱代码,人恨代码
Austin Berke 一句话说透了 AI 产品最别扭的地方:模型天然吐出来的东西,正是用户最不想看的东西。
「Agent 喜欢那些像代码的东西。用户讨厌那些像代码的东西。」
一个顶级模型想画一张图时,它的自然输出是一堆代码标记,一串用文本描述「在这里画条线、这里填个色」的指令。对模型来说这是最顺手的表达,对用户来说这是一屏乱码。用户想要的是干净的聊天窗口和能直接看懂的图。
中间这道坎比「把代码转成图」难得多。每生成一个东西,团队都得回答三个问题:
- 它放在哪儿——聊在对话里,还是弹到侧边栏?
- 谁能看到它:只有这个用户,还是全团队?
- 模型怎么知道用户此刻正在看什么?
第三个问题最要命,也最容易被忽略。团队最后定下的设计原则只有一句:用户能看到的东西,模型必须也能找到。 否则用户一追问,AI 就断片了。
一次意外变成功能
有用户让 Scout 画一张市场地图,团队本以为会被拒绝,结果它真的画了,只是前端不会显示。
早期测试时,一个用户要 Scout 给一张可视化的市场地图。团队的预期是 Scout 会说「我做不了」。结果 Scout 老老实实返回了一段画图的代码,只是当时的界面根本不会把它渲染成图。
团队没把这当成故障修掉,而是顺着它做成了功能。现在图不是「图表功能」的产物,而是对话里的一等公民。 模型在自己的回复里直接把图写出来,前端就地渲染成可看的样子。模型和用户看的是同一份东西,在同一段对话里。
关键在于,团队一张功能都没专门设计:图表功能、时间线功能、市场地图功能,一个都没做。但这些用法自己长了出来,见面前的准备材料、研究报告、团队扩张的时间线。因为 AI 和界面看的是同一个来源,一个通用的做法自动覆盖了一堆具体场景。
让 AI 看见自己搜的东西
用户想一次搜几千家公司,可结果太多塞不进对话。旧做法是甩到侧边栏,AI 从此和这份名单失联。
这是文章里最实在的一个工程难题。用户要 Scout 一次筛几千家公司,这个量远超一条聊天消息能承载的范围。
直觉做法是:Scout 发起搜索,结果渲染到侧边面板,对话继续往下走。这个设计在用户问出那句「为什么这三家排在最前面」的瞬间就崩了。模型从来没见过那份结果,它答不上来。
Scout 的解法是让模型和界面共用一块存放区。搜索结果写进一个共享的文件空间,模型需要时随时去读;同时配上翻页工具,让模型能一页页看到用户正在看的同一批数据。前端那边,结果到一行渲染一行,用户不用等。对话拐回去时,模型能重新翻出任何一条。
Austin Berke 说,这个设计带来的解放不在单个功能上:
「不用为每一个使用场景、每一个客户单独搭一套工作流,这是巨大的解绑。」
产品怎么做变了
产品经理 Seth Wieder 说,他们不再预测用户怎么用,而是放开了看用户怎么用。
「有 Scout 之前,我们按我们预想的用户使用方式去做产品。收集需求、排优先级、做取舍。现在在这套 agent 模式下,我们让用户按自己想要的方式去用数据,然后观察他们怎么用。我们每天都在发现意想不到的新用法。」
这是整篇里最值得注意的一句。它说的不是 AI 更聪明了,而是 产品团队的角色从「设计路径」变成了「观察路径」。
配套的做法是把过程看透。团队自己搭了个内部面板,能把一整段对话的执行过程完整还原出来,包括 AI 中途生成的每一个东西,工程师看到的和用户看到的一模一样。他们还把这些运行记录直接拉进写代码的 AI 工具里:
「我们可以把运行记录拉下来,看它们和实际执行的代码怎么互动,然后照着真实发生的情况改。这形成了一个松散的自我改进循环:改代码、跑一次、看记录、再把记录拉回来。」
这里顺带提到了一个规模问题:一次 Deep Agents 的运行记录可能有几十到上百轮。人工翻这种东西极其熬人,所以他们用上了自动归类失败模式的工具,让它直接指出哪里反复出错、该怎么改。
数字和它的边界
留存 4 倍、单次使用时长 10 倍,这两个数字很亮眼,但它们来自 LangChain 博客上的客户案例,没有第三方核对。
先看数字。用户口碑的部分文章给了原话,投资人形容 Scout「极其有用」「简直是我的天堂」「改变游戏规则」。一位早期投资机构的合伙人和同行交流后发现,「每个人的秘密武器都变成了 Scout」。
口碑落到数据上是两个倍数:新用户从第一周到第四周还在用的比例,涨到了第一版的 4 倍;单次使用的平均时长涨了 10 倍,因为用户不再是搜一次就走,而是坐下来和它聊很多轮。
但要把这两个数字放回它们的出处看。这篇文章发在 LangChain 的官方博客上,而 Scout 用的正是 LangChain 的开发框架和运维工具。这是工具方讲自己工具的成功故事。 数字由 Harmonic 提供,没有独立第三方核对,也没有给出基数。第一版的留存原本是多少?4 倍是从 5% 涨到 20%,还是从 1% 涨到 4%?这两种情况的分量完全不同。
还有一层更值得琢磨的:单次时长涨 10 倍,在这里被当作正面指标。但停留时间变长,既可能意味着用户在做更深的分析,也可能意味着要达成同一件事得绕更多圈。文章选了前一种解释,且没有给出区分两者的证据。
这不是说结论是假的。方向大概率是真的:放弃手工搭流程、改用强模型加好工具,确实是当下 AI 产品的主流走向。 但具体的倍数,应该当作厂商叙事来读,不是当作行业基准。