半导体的 60 年老规矩
芯片行业有个用了六十多年的记分方式叫良率,只问一句话:这一炉出来的,有多少是能用的。Rani Borkar 说,该拿它来量 AI 了。
良率是半导体行业最核心的指标:一片晶圆上切出几百块芯片,其中能用的占多少。不能用的那些,材料、电力、工时全打了水漂。六十多年里,整个行业就是靠死磕这一个数字,把晶体管从实验室里的稀罕物变成了现代生活的地基。
Rani Borkar 强调的是这个词的不近人情:
良率不问方案有多优雅、花了多少年、路线图上承诺过什么。它只问一件事:我们产出了多少有用的东西?
她认为现在谈 AI 的话语全堆在投入这一端:融了多少钱、签了多少吉瓦的电、开工了几座数据中心。这些都是往炉子里放的东西。另一头出来了什么,没人认真问。
这有点像评价一家餐厅只报采购清单:进了多少斤和牛、几箱松露、后厨有几台万元烤箱。菜好不好吃、上了几桌客人,一个字没提。
3400 倍的账
AI 从「回答一句话」变成「自己干一串活」,单次消耗能跳到 3400 多倍,而这件事才刚开始。
现在绝大多数人用 AI,是问一句答一句。真正在改变基础设施算式的是另一种用法:agent(能自己拆解任务、调用工具、连续干上一阵的 AI 程序)。它不是答完就停,而是一边想、一边试、一边改,循环几分钟甚至几小时。
Rani Borkar 给的数字是:单次 agent 任务消耗的 token(AI 读写文字的计量单位,大致一个英文词算一两个)可以超过一次典型聊天的 3400 倍。
差距大到什么程度?发一条短信和写完一本书的差别。
AI 的普及速度虽然比互联网、PC、智能手机都快,全球劳动人口里用上的也才 18%,其中绝大部分还停留在聊天。用的人不到五分之一,用法还是最省的那种,基础设施已经开始吃紧。电力在决定能建什么、什么时候建;封装和机柜越做越大越密;内存正在变成更紧的那道卡口。
加法撞墙了
过去每遇到一个新需求,行业的答案都是「再多加一点」;现在每一分收益都要比上一分投入更多,这就成了跑步机。
多年来的解法很一致:封装里多塞硅、旁边多配内存、供电再拉大、连接再多铺光纤。每一代都有实打实的进步。问题是当新增的收益需要比上一次更多的投入才换得到,你就上了跑步机,只有不停往上加,它才继续动。
Rani Borkar 主张走两条路:一条是演进式的,在现有架构里继续抠效率、抠利用率、抠账本;另一条是变革式的,用新架构、新材料、新的系统与模型设计方法,把曲线本身掰弯。
这个行业干过两次后一种事。CPU 主频一路往上飙,撞上功耗这堵墙以后,整个行业转去做多核,不再让一个核跑更快,而是让多个核一起干。平面存储芯片在同一层上挤不下更多单元时,存储厂商把它竖起来堆,往上盖楼。
两次都不是靠加量解决的,是靠换了个想法。
内存不是零件问题
决定 AI 跑多快的已经不是算力,是内存;而这个堵点,恰恰不能在内存这一层解决。
在 推理(AI 生成答案的那个过程)环节,内存现在是系统性能的天花板。它要装下更大的模型、留住更长的上下文,还得供数据供得够快,不能让算力闲着。agent 把这个要求又抬高了一截:生成、检索、调工具、记住之前发生过什么,几件事在循环里同时跑,一跑就是几分钟到几小时。大量信息必须一直待在算力旁边,随时可取。
Rani Borkar 说,造 Azure Maia 平台的经验证明,内存瓶颈没法在单独一层里解决。模型架构、数据处理和压缩可以减少要存的那份临时草稿;系统软件可以把内存的层级调度得更聪明;芯片可以针对数据搬运做优化;编译器可以把数据摆到离算力更近的位置。
没有任何一项单独拿出来能拆掉这个约束,合起来才行。
她给这件事的定义是:重点不在往里多塞字节,而在从已有的每一个字节里榨出更多有用的智能。
从结果倒着设计网络
造 Maia 的网络时,微软没在现成方案上改,而是先定死要交付什么结果,再往回设计芯片、网络和系统软件。
智能不是从一块芯片里出来的,是几千块芯片当成一个系统在跑。链路更快当然有用,但系统到底产不产出东西,还要看拥塞怎么管、出故障怎么恢复、任务派到哪台机器、编程有多难写,以及芯片、系统、软件这三者的边界划在哪。这些合在一起,决定了那些昂贵的算力是在生产智能,还是在空转。
Rani Borkar 说他们的起点不是某个现成的网络设计,而是想要的结果:在整个机群规模上做高效推理。然后从这个结果往回推,把芯片、网络、系统软件一起设计。
结论是少花钱办成了事:统一的网络让编程更简单、任务摆放更灵活、现有容量用得更满,而且达到同样性能所需的网络硬件更少,整套系统的运行成本因此降下来。
电要设计到芯片里
电以前是插上就有的东西,现在变成了要和芯片一起设计的东西。
机架的功耗已经从几十千瓦涨到几百千瓦,数据中心园区按吉瓦计。这个量级下,供电不再是设计完了再去接的最后一步,而是从产品定义的第一天就在里面的。
行业层面的动作是重新设计输电这条链路:固态变压器、800 伏直流供电,目的是让电在从电网走到机器的一路上少损耗一点。
更有意思的是这种协同设计一路做进了芯片。微软基于 Arm 架构的服务器 CPU Azure Cobalt 200,给每一个核心都配了独立的电压和频率控制,再配上按虚拟机限定功耗的软件。这意味着可以精准地调某几处的用电,同时不动那些关键任务的性能。同样一格电力预算里,能多开一批服务器。
效率话术的另一面
Rani Borkar 把效率抬到了普惠的高度,但这套框架出自一家正在史上最大规模建数据中心的公司,它既是真诚的工程主张,也是一次立场表述。
文章最后一段的落点是:AI 的价值不在产出 token,而在这些产出变成别人工作的原料。科学家更快做出发现、医生更早看出信号、学生在需要时得到帮助、小生意找到新的活路。要让这个循环转起来,AI 必须人人可及;而在这个规模上,可及性就等于效率。
这个逻辑链是成立的,也确实是工程师的真心话。但它同时是一次位置摆放。当外界开始质疑 AI 的资本开支是不是过头了,「别只看建了多少,要看产出多少」这句话把话题从支出规模挪到了产出效率,而后者,恰恰是提出方自己定义、自己评分的。
Rani Borkar 也没有回避这一点,她把话说得很直:
我们会继续建产能,因为这个世界需要它。但衡量进步的标准,必须是产出了什么。
这篇讲「要看产出」的文章,通篇没给出一个产出侧的数字。3400 倍、18%、几百千瓦,全是投入端和消耗端的量。新的记分牌立起来了,上面还是空的。