记录仪搬进客户机房
LangChain 给自家的 AI 监控平台 LangSmith 加了一种新装法:整套跑在客户自己的亚马逊云账号里,数据一步不出客户的网,日常运维还是 LangChain 的人干。
LangSmith 是 LangChain 做的平台,作用类似给 AI 程序装的行车记录仪加体检台:记录 agent(能自己拆解任务、连续调用工具干活的 AI 程序)每一步干了什么,再拿测试集评估它做得好不好,最后把它部署上线管起来。
新装法叫 BYOC,直译是「自带云」。以前客户要么用 LangChain 托管的版本,东西存在 LangChain 那边;要么自己从零装一套,什么都归自己管。BYOC 是第三条路:机器和数据都在客户的亚马逊云账号里,运维交给 LangChain。
这次上线覆盖美国、欧洲、亚太的 15 个亚马逊云区域,只对 LangSmith 企业版客户开放,而且目前只有亚马逊云一家,微软和谷歌的云没有。
日志里全是隐私
挡住很多公司把 AI agent 从试点推上生产的,往往不是模型不够聪明,是 agent 的运行日志里装满了不能外传的东西。
LangChain 在文中列了这些日志里常见的内容:个人身份信息、受美国法律特别保护的医疗信息、客户档案、内部接口返回的原始数据、工具执行的输出。要排查 agent 为什么答错,就得看这些日志;而要看这些日志,它们就得先被存在某个地方。
对金融、医疗、网络安全这类行业的公司来说,「存在某个地方」这几个字就是死结。合规部门不会同意把病历片段和客户账户信息发到一家创业公司的服务器上,哪怕那家公司再靠谱。于是团队卡在原地:要么放弃观测工具靠猜,要么放弃上线。
一份部署,切成两半
LangSmith 被拆成两半:管登录和界面的那半留在 LangChain 手里,装数据的那半整个放进客户的亚马逊云账号。
留在 LangChain 那边的叫控制平面,负责登录验证、成员和权限管理、计费用量,以及你在浏览器里看到的那个界面。LangChain 明确写了:控制平面不存放敏感的应用数据。
放在客户账号里的叫数据平面,是一整套完整的基础设施:一个专属的 VPC(客户在云上圈出的一块私有网络,外面进不来)、一个私有的 Kubernetes 集群(调度和管理这些服务运行的底座)、数据库、对象存储。追踪记录、提示词、数据集、实验、评估结果、agent 本身、沙箱运行的数据,全落在这里。
两半之间靠 PrivateLink(亚马逊云的内部专线)通信,不走公开互联网。集群本身没有公网入口,跑任务的机器也不分配公网地址。
钥匙开不了保险柜
LangChain 用来在客户账号里搭设施的那个权限,不包含任何一条读数据的权限。
客户要授权给 LangChain 一个 AWS 角色,LangChain 才能去建东西。关键在这个角色被划到多小:凡是亚马逊云支持的地方,权限只能作用于打了 managed_by=langsmith 标签、并且名字符合特定前缀的资源。
更要紧的是它不含什么。LangChain 写明,这个角色里没有 s3:GetObject(读取存追踪记录那个存储桶)、没有 rds-db:connect(连进数据库)、没有 elasticache:Connect(连进缓存)。它能建库,但连不进库。
审计的证据也都留在客户手里:LangSmith 的操作日志存在数据平面,集群审计日志进客户自己的 CloudWatch,网络流量日志落进客户自己的 S3 存储桶。真出了急事需要人工介入,原文说走的是「客户明确批准」的访问方式。这条路存在,只是要客户点头。
客户只动两步
接入要客户做的只有两件事:跑一段现成脚本建出那个授权角色,再在界面上新建一个数据平面,剩下的基础设施由 LangChain 建、也由 LangChain 管。
建出来的东西是一套标准配置,LangChain 说它和自己跑托管版用的架构基本一致:专属网络、无公网入口的私有集群、无公网地址的工作节点、私有负载均衡、配好的域名和入口、数据库和追踪存储的每日备份写进客户自己的存储桶、服务和机器数量自动伸缩、数据库和缓存跨可用区部署并能自动切换。
建完之后才是真正省事的部分。基础设施升级、LangSmith 版本升级、扩容、打补丁、备份、健康监控,全归 LangChain。自托管那条路是另一回事:自己估算数据库容量、自己维护 Kubernetes、自己配网络、自己盯可靠性、自己处理备份,并且要长期养着一支人来干这些。这是 BYOC 想替客户省掉的账。
它不是自托管
自托管是东西在你家、活也归你干;BYOC 是东西在你家、活归 LangChain 干。这两件事常被当成一件。
差别落在具体的一条线上:那个 Kubernetes 集群的管理接口,是对 LangChain 的控制平面开着的。LangChain 靠它往客户集群里安装组件,并持续把组件校正到该有的状态。这正是「不用你自己升级」的实现方式。
代价也在这条线上。客户拿到的是数据边界,不是完全的控制权:数据 LangChain 读不到,但集群里跑什么,由 LangChain 持续决定。这是我的判断,原文只客观描述了管理通道的存在和用途。
所以选哪条路,取决于公司真正紧张的是什么。紧张数据落在别人机房,BYOC 解决;紧张外部供应商对自家集群有持续写入能力,那 BYOC 解决不了,该走自托管。
现在买它买到什么
买到的是一条数据边界,不是一套完整功能:九类能力已经能用,三项还没到,并且只有亚马逊云、只有企业版套餐。
已经可用的九类覆盖了日常主线:追踪与告警、数据集与评估、自动分析日志找出重复出错模式的 Insights、存提示词和记忆的 Context Hub、agent 部署、代码执行沙箱、统一管模型花销和限流的 LLM 网关、无代码搭 agent 的 Fleet,以及存追踪数据的后端 SmithDB。
还没到 BYOC 的有三项,LangChain 只说「即将支持」,没给时间:
- 托管版 Deep Agents
- 模型鉴权代理
- Engine
公开的客户背书目前只有一家。医疗 AI 公司 Latent Health 的联合创始人 Rishabh Jain 说:
它给了我们需要的观测工具,同时把敏感数据留在我们自己高度安全的环境里。
摆在一起看,LangChain 押的是一个判断:agent 从试点走向生产,卡点不在模型能力,在数据能不能不出企业自己的边界。为这个判断,它放弃了一部分掌控:不碰客户数据、不收客户的云账单、把基础设施成本推回客户侧,换进那些原本根本不可能签约的受监管行业。它卖的是「信任」这种产品形态。能不能成,要看第二家、第三家公开客户什么时候出现。