半导体的 60 年老规矩

芯片行业有个用了六十多年的记分方式叫良率,只问一句话:这一炉出来的,有多少是能用的。Rani Borkar 说,该拿它来量 AI 了。

良率是半导体行业最核心的指标:一片晶圆上切出几百块芯片,其中能用的占多少。不能用的那些,材料、电力、工时全打了水漂。六十多年里,整个行业就是靠死磕这一个数字,把晶体管从实验室里的稀罕物变成了现代生活的地基。

Rani Borkar 强调的是这个词的不近人情:

良率不问方案有多优雅、花了多少年、路线图上承诺过什么。它只问一件事:我们产出了多少有用的东西?

她认为现在谈 AI 的话语全堆在投入这一端:融了多少钱、签了多少吉瓦的电、开工了几座数据中心。这些都是往炉子里放的东西。另一头出来了什么,没人认真问。

这有点像评价一家餐厅只报采购清单:进了多少斤和牛、几箱松露、后厨有几台万元烤箱。菜好不好吃、上了几桌客人,一个字没提。

3400 倍的账

AI 从「回答一句话」变成「自己干一串活」,单次消耗能跳到 3400 多倍,而这件事才刚开始。

现在绝大多数人用 AI,是问一句答一句。真正在改变基础设施算式的是另一种用法:agent(能自己拆解任务、调用工具、连续干上一阵的 AI 程序)。它不是答完就停,而是一边想、一边试、一边改,循环几分钟甚至几小时。

Rani Borkar 给的数字是:单次 agent 任务消耗的 token(AI 读写文字的计量单位,大致一个英文词算一两个)可以超过一次典型聊天的 3400 倍。

差距大到什么程度?发一条短信和写完一本书的差别。

AI 的普及速度虽然比互联网、PC、智能手机都快,全球劳动人口里用上的也才 18%,其中绝大部分还停留在聊天。用的人不到五分之一,用法还是最省的那种,基础设施已经开始吃紧。电力在决定能建什么、什么时候建;封装和机柜越做越大越密;内存正在变成更紧的那道卡口。

3400 倍 单次 agent vs 一次聊天消耗 18% 全球劳动人口中 用上 AI 的比例
AI 还没铺开,消耗已经爆了:用的人不到五分之一,而用法从聊天转向自动干活时,单次消耗跳了三千多倍。两个数均出自 Rani Borkar 原文。

加法撞墙了

过去每遇到一个新需求,行业的答案都是「再多加一点」;现在每一分收益都要比上一分投入更多,这就成了跑步机。

多年来的解法很一致:封装里多塞硅、旁边多配内存、供电再拉大、连接再多铺光纤。每一代都有实打实的进步。问题是当新增的收益需要比上一次更多的投入才换得到,你就上了跑步机,只有不停往上加,它才继续动。

Rani Borkar 主张走两条路:一条是演进式的,在现有架构里继续抠效率、抠利用率、抠账本;另一条是变革式的,用新架构、新材料、新的系统与模型设计方法,把曲线本身掰弯。

这个行业干过两次后一种事。CPU 主频一路往上飙,撞上功耗这堵墙以后,整个行业转去做多核,不再让一个核跑更快,而是让多个核一起干。平面存储芯片在同一层上挤不下更多单元时,存储厂商把它竖起来堆,往上盖楼。

两次都不是靠加量解决的,是靠换了个想法。

内存不是零件问题

决定 AI 跑多快的已经不是算力,是内存;而这个堵点,恰恰不能在内存这一层解决。

在 推理(AI 生成答案的那个过程)环节,内存现在是系统性能的天花板。它要装下更大的模型、留住更长的上下文,还得供数据供得够快,不能让算力闲着。agent 把这个要求又抬高了一截:生成、检索、调工具、记住之前发生过什么,几件事在循环里同时跑,一跑就是几分钟到几小时。大量信息必须一直待在算力旁边,随时可取。

Rani Borkar 说,造 Azure Maia 平台的经验证明,内存瓶颈没法在单独一层里解决。模型架构、数据处理和压缩可以减少要存的那份临时草稿;系统软件可以把内存的层级调度得更聪明;芯片可以针对数据搬运做优化;编译器可以把数据摆到离算力更近的位置。

没有任何一项单独拿出来能拆掉这个约束,合起来才行。

她给这件事的定义是:重点不在往里多塞字节,而在从已有的每一个字节里榨出更多有用的智能。

模型与压缩 减少要存的临时草稿 系统软件 调度内存层级 芯片设计 优化数据搬运 编译器 把数据摆到离算力更近处 少存一点 调得更顺 搬得更省 放得更近 内存墙 模型更大、上下文更长、agent 要一直记着 四路合围才松动 同样的内存,更多智能 useful yield
内存瓶颈没有单点解法:模型压缩、系统软件、芯片、编译器四层各自削一点,合起来才让约束松动。四层分工出自 Rani Borkar 对 Azure Maia 平台的描述。

从结果倒着设计网络

造 Maia 的网络时,微软没在现成方案上改,而是先定死要交付什么结果,再往回设计芯片、网络和系统软件。

智能不是从一块芯片里出来的,是几千块芯片当成一个系统在跑。链路更快当然有用,但系统到底产不产出东西,还要看拥塞怎么管、出故障怎么恢复、任务派到哪台机器、编程有多难写,以及芯片、系统、软件这三者的边界划在哪。这些合在一起,决定了那些昂贵的算力是在生产智能,还是在空转。

Rani Borkar 说他们的起点不是某个现成的网络设计,而是想要的结果:在整个机群规模上做高效推理。然后从这个结果往回推,把芯片、网络、系统软件一起设计。

结论是少花钱办成了事:统一的网络让编程更简单、任务摆放更灵活、现有容量用得更满,而且达到同样性能所需的网络硬件更少,整套系统的运行成本因此降下来。

改前 改后 网络架构 机内、跨机两套 两层统一网络 网卡 独立部件 功能做进芯片 传输层 沿用现成方案 自研传输层 硬件用量 更多网络硬件 更少,成本更低
Maia 的网络不是在现成方案上改的:四处结构性改动换来更简单的编程和更低的运行成本。改动内容出自 Rani Borkar 原文对 Maia 平台的描述。

电要设计到芯片里

电以前是插上就有的东西,现在变成了要和芯片一起设计的东西。

机架的功耗已经从几十千瓦涨到几百千瓦,数据中心园区按吉瓦计。这个量级下,供电不再是设计完了再去接的最后一步,而是从产品定义的第一天就在里面的。

行业层面的动作是重新设计输电这条链路:固态变压器、800 伏直流供电,目的是让电在从电网走到机器的一路上少损耗一点。

更有意思的是这种协同设计一路做进了芯片。微软基于 Arm 架构的服务器 CPU Azure Cobalt 200,给每一个核心都配了独立的电压和频率控制,再配上按虚拟机限定功耗的软件。这意味着可以精准地调某几处的用电,同时不动那些关键任务的性能。同样一格电力预算里,能多开一批服务器。

效率话术的另一面

Rani Borkar 把效率抬到了普惠的高度,但这套框架出自一家正在史上最大规模建数据中心的公司,它既是真诚的工程主张,也是一次立场表述。

文章最后一段的落点是:AI 的价值不在产出 token,而在这些产出变成别人工作的原料。科学家更快做出发现、医生更早看出信号、学生在需要时得到帮助、小生意找到新的活路。要让这个循环转起来,AI 必须人人可及;而在这个规模上,可及性就等于效率。

这个逻辑链是成立的,也确实是工程师的真心话。但它同时是一次位置摆放。当外界开始质疑 AI 的资本开支是不是过头了,「别只看建了多少,要看产出多少」这句话把话题从支出规模挪到了产出效率,而后者,恰恰是提出方自己定义、自己评分的。

Rani Borkar 也没有回避这一点,她把话说得很直:

我们会继续建产能,因为这个世界需要它。但衡量进步的标准,必须是产出了什么。

这篇讲「要看产出」的文章,通篇没给出一个产出侧的数字。3400 倍、18%、几百千瓦,全是投入端和消耗端的量。新的记分牌立起来了,上面还是空的。

它在说什么 把衡量进步的标准从建了多少, 换成产出了多少有用智能 它没在说什么 不是要少建。原文明说会继续建产能, 因为世界需要
换记分牌,不是收摊:Rani Borkar 主张改的是评价标准,不是建设节奏——她在同一段里说「我们会继续建产能」。