一个词,四种工作
现在挂着同一个头衔的驻场工程师,做的是几乎没有交集的几种活。
几个月前,风投机构 a16z 办了一个驻场工程师(forward deployed engineer,被派到客户公司里面上班的工程师)培养项目,Vinoo Ganesh 是入选者之一。上周他去参加第一次聚餐,同桌坐着 Snowflake、Anthropic 和一堆创业公司的驻场工程师。
一顿饭下来,他发现大家用的是同两个词,干的却是彼此不沾边的工作。有人是售前工程师,客户第二通电话才上场;有人是背销售指标、顺带会写 Python 的销售;再过去几个座位,是个带着笔记本电脑和一份工作说明书进场的顾问,来交付产品本身做不出来的东西。
几天后,群里有人认真地问:我们的驻场团队,该怎么跟客户那边已经坐着的咨询公司分工?
这群人是当下最懂这个岗位的一批人,而他们描述的是汇报线不同、激励不同的几份工作。 也难怪任何一个讲驻场工程师的视频下面,一半评论都是同一句:这不就是把咨询重新发明了一遍吗?
完美的设计,到银行当场死了
一套在自家环境里从没出过错的存储系统,一接上银行的真实数据就当场崩了。
2013 年,Ganesh 在 Palantir 参与做一个叫 Phoenix 的事务存储。设计它的是他共事过的最好的几个工程师,方案干净,用例边界清楚。唯一的问题是:这些用例是别人转述给他们的。
他们理解设计要求,重点是商业客户的数据保留期,还想出了一套巧解:按时间把数据分桶,只保留一个滚动的窗口。在他们自己控制的每一个环境里,它的行为和设计文档一字不差。
然后他们把它部署到了一家银行。真实的金融数据里有测试数据从来没有过的洞:某条记录的时间戳是空的。空的时间戳落到了系统默认的时间起点,1970 年 1 月 1 日。保留逻辑于是一丝不苟地执行命令:给 1970 年到今天之间的每一个十分钟窗口,都开一个数据格子。
大约 230 万个。底层数据库每个格子要吃掉大约 5MB 内存。服务器内存耗尽,而要把它重新启动起来,需要 14TB 内存。这个进程从落地的第一秒就是死的。
根因不是调研不够
真正出问题的地方,是没有人对设计和客户日常之间的那道缝负责。
他们有规格书,理解用例,也读过不少这类机构怎么存数据的资料。他们从来没做过的一件事,是站在客户的楼里,看着这个系统跑客户的生产数据。
他们知道的关于这家银行的一切,都是转述的。转述的人全是好意,只是对天天泡在里面的人来说,脏数据就是日常的一部分,不值一提。
14TB 是个什么量级?一台普通笔记本电脑是 16GB 内存,14TB 差不多是九百台笔记本的内存全加在一起。为了重启一台服务器。
修自己的坑,修出平台
他被派出去修自己捅的娄子,反而第一次见到真实用户;Phoenix 后来长成了没人规划过的平台。
Phoenix 在 Palantir 的商业客户里铺开时,Ganesh 开始飞出去,一家一家修他们发出去的东西。这是他第一次站到真正的用户面前。
运气好的地方在于,这些用户是 Palantir 自己的驻场工程师,他们能用他听得懂的语言告诉他哪里不对。他开始围绕这些人想干的事去扩系统。
普通版本的故事到这里就结束了,收一个要重视用户的尾。Phoenix 后来变成了别的东西。它成了一个平台,驻场工程师在它上面搭出了网络安全、客户身份核验、反洗钱,以及一长串谁都没规划过的用途。产品团队只好回过头来想:怎么把这个平台扩到能撑住这些。
驻场工程师去解决客户的问题,是为了换回那个决定下一步该造什么的洞察。这个岗位是产品团队的延伸。
好摘的果子摘完了
能被一套标准产品解决的问题已经解决得差不多了,剩下的都藏在公司的墙里面。
一套产品原样卖给一千家公司就能解决的问题,基本上已经被做完了。剩下的活藏在墙里:那些没写下来、乱七八糟、从外面根本没法代理的工作流。
没办法从一通需求电话里推断出某一家公司具体是怎么关账的。而问题里那个抗拒推断的部分,恰好就是现在唯一剩下的部分。这就是为什么所有人突然都变得驻场了。
圣杯也因此悄悄挪了位置。很长一段时间里它是可复制的动作,同一个软件,同样的方式,卖一千遍。如果你卖的是算力、带宽或者实物,这仍然是对的野心。除此之外的人,价值已经迁到了最后一公里:那 20% 谁都没法提前预料到的流程,决定了另外 80% 会不会被真的用起来。
但只解决最后一公里,只是这个岗位的一半。一个只解决最后一公里、从不把信号送回家的驻场团队,就是一支换了个好听名字的咨询队伍。
去收集名词和动词
驻场工程师真正要带回来的,是这家公司管什么叫什么、这些东西又是怎么流转的。
在一家公司待上一周你会发现,同一个概念通常至少有四个名字。销售说 customer,运营说 client,财务记的是一个计费主体,工程师在代码里写 org_id。每一道接缝底下都藏着一次翻译,只要有人改了定义,这次翻译就断。
名字是表面,底下是这家公司的运转模型。名词是这里的人当作真实存在的东西:一个头寸、一笔交易、一个交易对手。每个团队都有那么几个东西,整个运转围着它们转,而且没有一个是按教科书的定义来的。两家机构在幻灯片上会把头寸描述得一模一样,在代码里却完全不同。这正是公司之间的区别所在。如果每家公司的名词都一样,世界上只需要一家公司。
动词是名词怎么动:一笔交易怎么入账,关账之前什么必须成立,晚上十一点谁批准一个例外,以及这个人休假的时候会发生什么。
这些几乎都没写下来。它活在六个待得够久、久到已经不再注意到它的人的脑子里,和一张四年前某人做的、现在整个团队都在偷偷依赖的表格里。这既是它值钱的原因,也是你没法开口要来的原因。
她双击打开,用眼睛看
挡了一年迁移的那位数据质量工程师没有在刁难,她在保护自己唯一的检查工具。
在 Ganesh 之前的一家创业公司,他们花了将近一年,想把一个客户从 CSV(用逗号分隔的表格文件,双击就能打开)迁到 Parquet(一种压得更小、机器读起来更快的数据格式)。每一次都被同一个数据质量工程师挡回来。理由每次都变,但都是同一类:Parquet 更差、它不管用、我看不明白。
他们讲了省存储的账,讲了省算力的账,讲了流水线更快的账。一样都没打动她,因为这些说的都不是真正的问题。
后来他们派了一个驻场工程师进去,坐在旁边看她干活。她从 S3(云上的文件仓库)把 CSV 下载到一台 Windows 笔记本上,双击打开,用眼睛一行一行扫过去。这就是那个数据质量检查。
Parquet 当时没有能直接双击打开的查看器。他们提的方案,等于拿走了她唯一的检查仪器,什么也没还给她。
他们当晚做了一个 Parquet 查看器。两天后她批准了迁移,流水线跑一次的时间从大约 17 小时降到 2 小时。
她在任何一次访谈里都不会说出这件事。从她坐的位置看,这个理由明显到不值一提。
vinoo.groovy 的代价
每一个为了救急随手拼出来的东西,最后都会变成你要养很多年的东西。
有个客户需要一个清理过期数据的定时任务,Ganesh 随手拼了个脚本先顶一阵,文件名叫 vinoo.groovy。一个下午的活,本来就没打算活过那一周。
一年后,这个脚本跑在一个近十万人的客户身上,他的名字焊在上面。这事荒唐到他的团队开始管他本人叫 vinoo.groovy。
他们把问题修好了,却从来没把这个修法变成产品。于是他们花了好几年,维护一个本该当场死掉的临时方案。
你随手发出去的每一个捷径,都会变成你要一直背着的东西。纪律在于分得清:哪些修法应该进平台,哪些应该在完成任务的那一刻被你故意扔掉。
岔路:卖工时还是攒资产
同样的驻场工作,底下有没有一个平台,决定了它是在卖工时还是在攒资产。
底下什么都没有的版本:你学会一家公司的运转模型,做出一个完全照它身形裁的东西,项目一结束,这些全丢了。下一个客户从零开始,再下一个也是。这就是咨询,钱不少,人很强,但它不复利。
底下垫一个平台的版本:同样的活,每摸清一家公司,下一次部署就更快一点,产品就更利一点,因为工程师带回来的东西有地方安放。
我对这场淘金热的诚实判断是:里面大多数公司在做的是第一种,在董事会上讲的是第二种。
不许给出像样的错答案
Ganesh 自己的公司让系统在没听懂客户的时候直接报错,而不是给出一个看起来合理的答案。
他现在的公司 Kepler 卖给对冲基金、投行、私募。这些机构的使命完全不同,却共享一条不可谈判的底线:数字必须是对的,而且必须有人能说清它为什么是对的,每一个数字都能一路查回它最初的来源。
这条约束把运转模型逼到了台面上。表结构告诉你存了什么,它不告诉你这些东西是什么意思,而一个听起来没问题、算出来的数却是错的系统,就诞生在这两者之间的距离里。
一个能绕开坏编码继续工作的系统,永远不会告诉你那个编码是坏的。
所以他们的系统不将就。当他们误解了一家机构对某个词的定义,这个误解会以一次失败的形式冒出来,而不是变成一个看着挺合理的答案。弄错的那个工程师是从系统那里知道自己错了,不是六周后在客户的会议室里。
他们要找的信号也不是三家基金都想要同一个功能,那种信号很容易看见,也不太值钱。他们要找的是三家基金都需要某样东西,而追溯那一层根本表达不出来。这种信号通常来得很安静:一个工程师第三次绕开了同一个限制。
护城河是被纠正过的次数
他的结论是护城河既不是模型也不是人,而是在客户那里犯过错、被纠正、把纠正折进平台的循环次数。这个结论站得住,但他自己没拿出证据。
模型不是护城河,它每个月都在变便宜,而且不管怎样都是你从别人那儿租来的。人也不是,每个实验室都在竞价同样那几百个人,这个价格早就被发现完了。
任何一家客户的那张地图也不是。把一家机构怎么运转草拟出来,现在几乎是免费的,谁都能在一个下午干完。
草图不是资产。知道草图的哪些部分是错的才是资产,而这只能来自被纠正过。
他说这三个词每个都承重:累积,因为一次部署是轶事,第十次才是模式;当前,因为运转会漂移,一个过期的模型在 AI 系统底下会无声地失败,在人类分析师面前它不会;被验证过,因为一个听着合理的编码和一个正确的编码长得一模一样,直到有什么东西崩掉。竞争对手可以挖走他的工程师、抄走他的界面、读这篇文章,但没法跳过那个被纠正的过程。
这套逻辑站得住。但也要看清它同时是什么:这恰好是一家刚起步的公司希望自己拥有的东西,而不是一个已经拿出来的结果。 全文有数字的三个故事,全部发生在 Palantir 和他之前的创业公司。Kepler 这一段没有任何数字,没有部署数量,没有周期时间,没有第十次部署比第一次快了多少。他说一次部署是轶事、第十次才是模式,而他关于自己公司给出的,恰好全是轶事。