堵点不在模型

拖慢 Lyft 的不是 AI 不够聪明,是最懂客户问题的人没法自己动手,每改一次都要机器学习工程师当翻译。

Lyft 的客服由一批 agent(能自己理解问题、调用后台系统、连续把一件事办完的 AI 程序)分工负责,从 2023 年就在跑,覆盖账号找回、车辆损坏理赔、扣费争议、司机收入争议等一堆类别。问题出在造它的流程上。

最懂客户问题的是运营团队、客户之声负责人(专门收集和分析用户抱怨的岗位)和产品经理。但他们只能描述:这个场景该问什么、该怎么答、什么时候转人工。描述交给机器学习工程师,由工程师翻译成 提示词(写给 AI 的一份工作说明书)和工具配置,跑出来,两边再一起翻对话记录挑毛病,再改。一轮来回就是几周,造一个 agent 要几个月。

到 2026 年这条路走不下去了。新的用户群体、新的问题类型,还要支持无人驾驶车的客服场景,需求一起涌上来。而懂问题的那批人永远卡在队伍里,等一个技术中间人。

上线一个客服 agent 所需时间(周) 2023 年第一个司机 agent 约 6 个月 机器学习工程师全程手工造 今天的可配置 agent 约 2 周 业务专家写说明书加配置
同样是上线一个客服 agent,时间从约半年压到约两周。数据来自 Lyft 自述的成果清单,但两者复杂度并不对等。

改成谁来写

现在新 agent 由产品经理直接定义:按模板写一段提示词,加一份配置文件,机器学习工程师一行代码都不用改。

Lyft 把 agent 分成两类。复杂的仍然由工程师手工造。 车损理赔 agent 就是这一类:它要处理用户上传的事故照片、识别骗保、做多步判断、还要触发自动赔付流程,这些东西靠填表格搭不出来。

剩下的归入可配置 agent。服务启动时,平台从配置文件里把它们一个个读出来,说明书则从一个叫 Prompt Hub 的提示词仓库里拉取。业务专家只负责写清楚五件事:身份、目标、管什么不管什么、分几个阶段走、说话规范。往下全归平台:搭流程、绑定这个 agent 能调用的后台工具、装上安全闸、把多轮对话的状态存好。

落到具体场景:产品经理想加一个专门回答司机报税问题的 agent,写完说明书和配置就能挂上线,不需要惊动任何一个工程师。

维度 之前 之后 谁定义行为 业务专家口头描述 业务专家直接写 谁做实现 工程师翻译成代码 平台读配置自动搭 上线周期 约 6 个月 约 2 周 改一版要多久 等工程师排期 改说明书即可
改造动的是分工,不是工具:定义权和实现权被拆开,业务专家拿走了前者。依据原文对旧流程和自助平台的描述整理。

总台加专科

每条消息先进一个总台 agent,由它判断这是什么问题、转给哪个专科 agent,聊到一半发现转错了还能退回重转。

这套结构像医院。总台就是分诊台,只干一件事:看你是乘客还是司机、问的属于哪一类,然后转给对应科室。乘客转给乘客意图 agent,处理丢东西、扣费争议、行程问题;司机转给司机意图 agent,处理收入、账号、车辆损坏。

转诊是双向的。 司机意图 agent 聊着聊着发现这其实是一起车损理赔,它会把控制权交还总台,由总台重新转给车损理赔 agent,对话不用推倒重来。

还有一层容易被忽略的设计:每一轮对话,在模型开口之前,恶意意图检测和安全问题检测先并行跑一遍。这是前置闸门,不是事后审查。每一轮的完整状态也都落盘存着,线上出了问题可以整段回放,看清楚当时 AI 手里握着什么信息。

安全检查 恶意意图与安全风险 乘客来信 司机来信 高风险, 转专科 聊到一半要转诊, 交还总台 每轮落盘 每轮开口前先过闸 每轮开口前先过闸 每轮开口前先过闸 总台 agent 判断问题类型并转接 乘客意图 agent 丢东西、扣费、行程 司机意图 agent 收入、账号、车损 车损理赔 agent 工程师手工造的专科 对话状态存档 可回放、可调试
一次对话的走向:总台分诊、专科接手、必要时退回重转,而每一轮在模型开口之前都要先过安全闸。依据原文架构章节绘制。

先吃一成流量

一个新 agent 要先接 5% 到 10% 的真实流量,再由另一个 AI 逐条判它答得对不对,达标才放到全量。

先说留痕。每一次 agent 运转都被完整记录:哪几步跑了、模型当时看到了什么、调了哪些工具、每步花了多久、花了多少钱。一个司机反馈这回答莫名其妙,团队能直接调出那一次的完整记录,看清是问题分类错了、工具调用失败了、还是最后一句话生成得不对,几小时内就能改掉。

再说评判。抽一批真实对话当考卷,让另一个模型充当裁判逐条判。除了所有 agent 通用的基础指标,每类 agent 还加自己的题。司机收入 agent 会专门检查它有没有违反计费政策、有没有出现前后矛盾的推理。Lyft 团队给出的一条经验是:裁判只给通过或不通过这种二元判定,不要让它打分数,因为分数既不准,也没法据此行动。

上线之后还有一层兜底。每个 agent 都有自己的监控看板,盯着请求量、错误率、响应速度、成本、工具调用成功率,以及裁判分数的走向。错误率超过 5%,或者 p95 延迟超过 10 秒且持续 15 分钟,值班工程师的手机会自动响。

第一步 · 小流量试跑 先接 5% 到 10% 真实对话 第二步 · 攒考卷 抽样真实对话做评估集 第三步 · AI 当裁判 逐条判通过或不通过 第四步 · 达标全量 过关才放到 100% 流量 第五步 · 持续盯梢 错误率超 5% 自动呼人 抽样率在刚上线时开得高, 跑稳之后逐步调低
新 agent 从小流量到全量要过的四道关,上线后还有第五道。关卡设置与告警阈值均来自原文评估与监控章节。

难的是写说明书

Lyft 原以为最难的是把平台搭稳,结果发现真正的瓶颈是业务专家不会把经验写成 AI 能稳定照做的指令。

失败的样子高度一致:顺利情况处理得漂亮,一碰边缘情况就散架。

有一份说明书写清楚了司机质疑车费该怎么处理,却完全没写司机聊到一半突然换话题该怎么办。语气那一节写着要有同理心,但没说清同理心在这个场景里具体是哪几句话术,于是模型每次的理解都不一样。

坑归纳下来主要是三类:没定义不该管什么,于是 agent 跑去回答自己根本没有工具解决的问题;分支逻辑含糊,某个阶段既没写什么时候进、也没写什么时候出;内容规范写得好看却空泛,给模型留了太多即兴发挥的余地。

对策是一份强制模板,每份说明书必须写满五项:

  1. 身份:这是谁、面向哪类用户、管哪个话题
  2. 主要目标:用具体动词,不许写帮助、处理这种虚词
  3. 范围:管什么,以及不管什么。不管的部分必须写明转给谁
  4. 分阶段流程:编号步骤,每阶段写清进入条件,每个岔路都要有对应处理,每阶段都要有终点
  5. 内容规范:具体的能说与不能说,配例句,不要抽象原则

配套还有一张审核清单,上线前逐条过,比如每个阶段都有出口吗、后台工具挂掉的时候该怎么办写了吗。Lyft 团队把这件事总结成一句话:

把提示词当产品需求文档写,别当代码注释。

提示词也要过审

提示词开始享受代码待遇:写完自动提交一份修改申请,机器先挑错,挑出问题就不许上线。

业务专家在界面里写完说明书,系统自动往配置仓库提一个 PR(代码世界里的修改申请单,必须通过检查才能并入正式版本)。接着自动跑两层检查:

  1. 快速静态规则:模板变量写错、意图名字重复、拼写错误
  2. 模型检查:提示词注入漏洞、前后矛盾的指令,以及走进去出不来的死胡同流程

任何一条不通过就卡住合并。作者在自己的界面里直接看到是哪一行的问题,自己改完再提,全程不用去找工程师。

这条流水线原文写明还在建设中,属于接下来要做的事,不是已经兑现的成绩。Lyft 给它定的目标是:常见错误做到零人工审查。

这套打法的前提

成绩单是实打实的,但它成立有几个硬前提:问题类型高度重复、有海量真实流量当评估燃料、底下还托着一支工程团队。

先看数字。自助平台上线后,幻觉和前后矛盾的比率降了 20%,AI 自助解决率涨了 16%,所有生产环境的 agent 都挂上了自动评审。

但自助这个词容易让人误会。交出去的只是最后一公里的迭代权,不是工程本身。 平台、总台路由、安全闸、状态存储、评估流水线、监控告警,每一样都是机器学习工程师造的;车损理赔这类高风险场景到今天仍然由工程师手工造。产品经理拿到的是一个已经铺好轨道的工位,不是一间空厂房。

再看场景前提。客服是最适合这套做法的领域之一:问题类型高度重复、多数有标准答案、每天有几百万次真实对话可以拿来当考卷、答错了还有人工兜底。换成低频、高风险、拿不出海量流量做评估的业务,让业务专家自己上线 agent 这条路未必走得通。

-20% 幻觉与前后矛盾率 +16% AI 自助解决率 100% 生产 agent 挂自动评审
自助平台上线后 Lyft 给出的三项结果。三个数均为 Lyft 自述,未经第三方核验,且未公布变化前的绝对基数。