堵点不在模型
拖慢 Lyft 的不是 AI 不够聪明,是最懂客户问题的人没法自己动手,每改一次都要机器学习工程师当翻译。
Lyft 的客服由一批 agent(能自己理解问题、调用后台系统、连续把一件事办完的 AI 程序)分工负责,从 2023 年就在跑,覆盖账号找回、车辆损坏理赔、扣费争议、司机收入争议等一堆类别。问题出在造它的流程上。
最懂客户问题的是运营团队、客户之声负责人(专门收集和分析用户抱怨的岗位)和产品经理。但他们只能描述:这个场景该问什么、该怎么答、什么时候转人工。描述交给机器学习工程师,由工程师翻译成 提示词(写给 AI 的一份工作说明书)和工具配置,跑出来,两边再一起翻对话记录挑毛病,再改。一轮来回就是几周,造一个 agent 要几个月。
到 2026 年这条路走不下去了。新的用户群体、新的问题类型,还要支持无人驾驶车的客服场景,需求一起涌上来。而懂问题的那批人永远卡在队伍里,等一个技术中间人。
改成谁来写
现在新 agent 由产品经理直接定义:按模板写一段提示词,加一份配置文件,机器学习工程师一行代码都不用改。
Lyft 把 agent 分成两类。复杂的仍然由工程师手工造。 车损理赔 agent 就是这一类:它要处理用户上传的事故照片、识别骗保、做多步判断、还要触发自动赔付流程,这些东西靠填表格搭不出来。
剩下的归入可配置 agent。服务启动时,平台从配置文件里把它们一个个读出来,说明书则从一个叫 Prompt Hub 的提示词仓库里拉取。业务专家只负责写清楚五件事:身份、目标、管什么不管什么、分几个阶段走、说话规范。往下全归平台:搭流程、绑定这个 agent 能调用的后台工具、装上安全闸、把多轮对话的状态存好。
落到具体场景:产品经理想加一个专门回答司机报税问题的 agent,写完说明书和配置就能挂上线,不需要惊动任何一个工程师。
总台加专科
每条消息先进一个总台 agent,由它判断这是什么问题、转给哪个专科 agent,聊到一半发现转错了还能退回重转。
这套结构像医院。总台就是分诊台,只干一件事:看你是乘客还是司机、问的属于哪一类,然后转给对应科室。乘客转给乘客意图 agent,处理丢东西、扣费争议、行程问题;司机转给司机意图 agent,处理收入、账号、车辆损坏。
转诊是双向的。 司机意图 agent 聊着聊着发现这其实是一起车损理赔,它会把控制权交还总台,由总台重新转给车损理赔 agent,对话不用推倒重来。
还有一层容易被忽略的设计:每一轮对话,在模型开口之前,恶意意图检测和安全问题检测先并行跑一遍。这是前置闸门,不是事后审查。每一轮的完整状态也都落盘存着,线上出了问题可以整段回放,看清楚当时 AI 手里握着什么信息。
先吃一成流量
一个新 agent 要先接 5% 到 10% 的真实流量,再由另一个 AI 逐条判它答得对不对,达标才放到全量。
先说留痕。每一次 agent 运转都被完整记录:哪几步跑了、模型当时看到了什么、调了哪些工具、每步花了多久、花了多少钱。一个司机反馈这回答莫名其妙,团队能直接调出那一次的完整记录,看清是问题分类错了、工具调用失败了、还是最后一句话生成得不对,几小时内就能改掉。
再说评判。抽一批真实对话当考卷,让另一个模型充当裁判逐条判。除了所有 agent 通用的基础指标,每类 agent 还加自己的题。司机收入 agent 会专门检查它有没有违反计费政策、有没有出现前后矛盾的推理。Lyft 团队给出的一条经验是:裁判只给通过或不通过这种二元判定,不要让它打分数,因为分数既不准,也没法据此行动。
上线之后还有一层兜底。每个 agent 都有自己的监控看板,盯着请求量、错误率、响应速度、成本、工具调用成功率,以及裁判分数的走向。错误率超过 5%,或者 p95 延迟超过 10 秒且持续 15 分钟,值班工程师的手机会自动响。
难的是写说明书
Lyft 原以为最难的是把平台搭稳,结果发现真正的瓶颈是业务专家不会把经验写成 AI 能稳定照做的指令。
失败的样子高度一致:顺利情况处理得漂亮,一碰边缘情况就散架。
有一份说明书写清楚了司机质疑车费该怎么处理,却完全没写司机聊到一半突然换话题该怎么办。语气那一节写着要有同理心,但没说清同理心在这个场景里具体是哪几句话术,于是模型每次的理解都不一样。
坑归纳下来主要是三类:没定义不该管什么,于是 agent 跑去回答自己根本没有工具解决的问题;分支逻辑含糊,某个阶段既没写什么时候进、也没写什么时候出;内容规范写得好看却空泛,给模型留了太多即兴发挥的余地。
对策是一份强制模板,每份说明书必须写满五项:
- 身份:这是谁、面向哪类用户、管哪个话题
- 主要目标:用具体动词,不许写帮助、处理这种虚词
- 范围:管什么,以及不管什么。不管的部分必须写明转给谁
- 分阶段流程:编号步骤,每阶段写清进入条件,每个岔路都要有对应处理,每阶段都要有终点
- 内容规范:具体的能说与不能说,配例句,不要抽象原则
配套还有一张审核清单,上线前逐条过,比如每个阶段都有出口吗、后台工具挂掉的时候该怎么办写了吗。Lyft 团队把这件事总结成一句话:
把提示词当产品需求文档写,别当代码注释。
提示词也要过审
提示词开始享受代码待遇:写完自动提交一份修改申请,机器先挑错,挑出问题就不许上线。
业务专家在界面里写完说明书,系统自动往配置仓库提一个 PR(代码世界里的修改申请单,必须通过检查才能并入正式版本)。接着自动跑两层检查:
- 快速静态规则:模板变量写错、意图名字重复、拼写错误
- 模型检查:提示词注入漏洞、前后矛盾的指令,以及走进去出不来的死胡同流程
任何一条不通过就卡住合并。作者在自己的界面里直接看到是哪一行的问题,自己改完再提,全程不用去找工程师。
这条流水线原文写明还在建设中,属于接下来要做的事,不是已经兑现的成绩。Lyft 给它定的目标是:常见错误做到零人工审查。
这套打法的前提
成绩单是实打实的,但它成立有几个硬前提:问题类型高度重复、有海量真实流量当评估燃料、底下还托着一支工程团队。
先看数字。自助平台上线后,幻觉和前后矛盾的比率降了 20%,AI 自助解决率涨了 16%,所有生产环境的 agent 都挂上了自动评审。
但自助这个词容易让人误会。交出去的只是最后一公里的迭代权,不是工程本身。 平台、总台路由、安全闸、状态存储、评估流水线、监控告警,每一样都是机器学习工程师造的;车损理赔这类高风险场景到今天仍然由工程师手工造。产品经理拿到的是一个已经铺好轨道的工位,不是一间空厂房。
再看场景前提。客服是最适合这套做法的领域之一:问题类型高度重复、多数有标准答案、每天有几百万次真实对话可以拿来当考卷、答错了还有人工兜底。换成低频、高风险、拿不出海量流量做评估的业务,让业务专家自己上线 agent 这条路未必走得通。