一段程序跑完整个模型

megakernel 就是把一次模型推理要派出去的几百段显卡程序,手工焊成一整段,好省下反复启动和排队的开销。

显卡不会自己找活干,它要等 CPU 一段一段地派任务。每段任务是一个内核(kernel,一小段丢给显卡执行的程序)。一次模型推理要派出去成百上千段,每次派发都有固定的启动开销,上一段还在收尾,下一段就在门外干等。

megakernel的思路简单粗暴:全焊在一起。一次启动,从头跑到尾,中间产生的数据留在显卡上,不来回搬。

代价在另一头。要把几百段各不相同的计算揉进一段、还要跑得比拆开更快,难度不是加法。Latent Space 这期简报里提到的极端例子,是一段 6.7 万行、纯手工融合的前向传播内核。前向传播就是模型从输入算到输出的那一趟。写一段这样的东西,时间尺度是两个月起。

6.7 万行 一段手工融合内核的代码量 两个月 写一段这样的内核所需时间
写一个 megakernel 要付的两笔代价:代码量和工时。数字出自 Latent Space 这期简报对手工融合内核的描述。

写得出,不等于跑得赢

Ali 说,他接触过的、真做出了融合大内核的公司,常常并不在生产环境里用它。把内核拆开各自优化,反而更快。

这是 megakernel 最尴尬的地方:它在论文里成立,在机房里不划算。

Ali 在播客里明确说不点名,但观察给得很具体:那些做融合大内核的团队,他认识的人里,很多最后没把成果放进生产。原因是 TensorRT-LLM(英伟达自家的推理加速库)和模块化内核这类现成方案跑得更快,每个组件可以被单独优化,还能互相并行。

Latent Space 的编辑把话说得更狠:

没有哪家正经的推理服务商在生产环境里跑一个 6.7 万行、手工融合的前向传播内核;还在做这件事的团队,是出于纯粹的研究目的。

差别在维护。一段焊死的内核,任何一处想改,都得回到那 6.7 万行里去改。拆开的内核,今天换掉其中一段的实现,明天换掉另一段,互不干扰。而这一行业里,新的实现几乎每周都在出。

卡与卡之间那道缝

只要一个模型摊在多张显卡上,中间就一定有几步必须等所有卡凑齐数据,再大的融合内核也得在这里停下来通信。

Ali 的技术反驳落在一个具体场景:张量并行,也就是把一个大矩阵劈成几块,分给几张显卡分头算。

矩阵左半边在 1 号卡,右半边在 2 号卡,两张卡各自算出半个结果。可下一步的运算需要一整行数据才能算,比如把一行数字换算成各自的占比。这时候 1 号卡手里只有一半,2 号卡手里也只有一半,谁都算不下去。

就像两个人分头盘一间店的账,一人管上半个月,一人管下半个月。要算「某一天的销售额占全月多少」,必须先把两半加起来。没有全月总数,谁都填不了这一格。

所以通信躲不掉。融合内核能省的是派活的开销,省不掉卡与卡之间必须交换数据这件事。它只能焊到这道缝为止。

手里只有一半,算不了 手里只有一半,算不了 必须先互相传结果 GPU 1 拿矩阵左半,算出半个结果 GPU 2 拿矩阵右半,算出另外半个 下一步的运算 要一整行数据才能算
融合内核焊不过去的那道缝:两张卡各握一半结果,下一步运算需要完整一行,于是通信躲不掉。依据 Ali 在播客中对张量并行的说明。

英伟达直接改硬件

下一代 Rubin 架构加了「依赖触发」:后一段内核不必等前一段全部跑完,前面完成多少就放行多少,megakernel 最主要的存在理由被硬件消掉了。

先看被消掉的是什么。一段内核会被拆成很多个计算块丢给显卡。播客里给的例子是:第二段内核需要 10 个计算块,而第一段还有 7 个跑完、3 个在磨蹭。按老规矩,第二段得等那 3 个也结束才能开工,那 7 个块空出来的算力就干晾着。这段空等,正是当初「不如全焊成一段」的主要理由之一。

依赖触发改的就是这个:第一段完成 7 个块,第二段就先启动自己的 7 个块。掉队的块不再拖住整条队伍。

宣布这项改动的是 Kyle Kranen,原文只提到他是节目的老朋友,没给头衔;转发他的是一位英伟达技术负责人,在公布 Rubin 规格的推文里。Ali 在播客里的原话是:

那颗 GPU 的设计方式,就是要杀死 megakernel。

他紧接着自己补了一句,说这份规格他还需要更仔细地读。这次判死刑的直接依据,是一条他承认自己还没读透的推文。

改动前 改动后 第二段何时开工 等第一段全跑完 跑完几个放行几个 掉队的计算块 拖住整条队伍 只拖自己 融合内核的理由 绕开这段空等 空等已由硬件消除
Rubin 的依赖触发改了什么:后一段内核不再等前一段全部结束。规则描述出自播客中对该改动的解释。

同一天,Cursor 开源了一个

就在这场「已死」讨论的同一天,Cursor 开源了 MoK:一个把混合专家模型的通信和计算焊进同一个内核的 megakernel,整体处理速度提升 41%。

带队的人来历有意思。MoK 全称 Mixture of Kittens,名字致敬的是 ThunderKittens 的作者 Ben Spector,而团队负责人 Stuart Sul 正是 Ben Spector 那批 megakernel 工作的合作者之一。给 megakernel 判死刑的讨论还没散,原班人马里的一个,当天交出了新的 megakernel。

MoK 针对的是混合专家模型的训练,跑在英伟达 NVL72 机柜上,而且结果确定,同样的输入每次给同样的结果。它做的恰恰是 Ali 说「躲不掉」的那件事:把通信本身和计算一起焊进内核。Cursor 给出的数字是整体每秒产出提升 41%,推特上的说法是比公开的强基线最多快 2.37 倍。

原文对这个数字的注解是:

放到足够大的规模上,这相当于数十亿美元的节省。

这句话没有给出算法,是 Cursor 自己口径的推算。

41% MoK 带来的整体每秒产出提升
Cursor 开源 MoK 时给出的头条数字:整体每秒产出提升 41%。出自 Latent Space 对该次开源的报道。

死的是哪一半

两边说的不是同一件事:作为通用的推理方案,megakernel 确实在退场;在通信和计算深度纠缠的地方,比如混合专家模型的训练,它仍是唯一能榨出这一档收益的做法。

Ali 谈的是推理,把训练好的模型架起来对外服务,追求稳定、好维护、随时能替换其中一段实现。这种场景下,一段焊死的 6.7 万行内核是负债。

Cursor 做的是训练,关起门来跑自家那一种模型结构,不需要谁来替换其中一段,也不需要跟上每周新出的实现。省下的算力直接落在账面上。

真正的变量是英伟达的节奏。手工绝活的窗口期正在被硬件一代代收走。等待掉队计算块这件事,原本是人在内核层面费劲绕开的,Rubin 直接在芯片里解决了。所以写 megakernel 要算两笔账:省下的算力值多少,以及这份优势能在下一代硬件到货前撑多久。两个月的开发投入,赌的是第二笔。

于是「死了」和「回来了」可以同时成立。退场的是把 megakernel 当成通用解法的那种野心,留下的是它在极窄场景里的暴利。