谁造的,造出了什么

一个德国研究联盟造出开源大模型 Soofi S,在德语和英语测试上都拿了同类开源模型第一,而且全程跑在德国自己的算力上。

造出 Soofi S 的不是某家大公司,而是一个由德国人工智能协会(KI Bundesverband)牵头的研究联盟,成员包括弗劳恩霍夫 IAIS 与 IIS 研究所、德国人工智能研究中心(DFKI)、达姆施塔特工业大学等高校院所,以及 Ellamind、Merantix Momentum 两家公司,由德国联邦经济和能源部出资,属于欧洲 IPCEI-CIS 计划的一部分。

它对标的是当下的开源标杆:美国艾伦人工智能研究所的 OLMo 3 32B,和苏黎世联邦理工与洛桑联邦理工的 Apertus 70B。按联盟发布的预训练报告,Soofi S 在德语和英语的综合测试上都超过了这些前辈,而且在所有德语基准上领先每一个「欧洲主权」参照模型,有时领先幅度达到两位数。

最特别的一点是,它从头到尾跑在德国自己的算力上——慕尼黑,德国电信的工业 AI 云。对一个把「技术主权」当目标的项目,这和分数一样重要。

省算力的架构

它总共 316 亿参数,但每生成一个字只调用其中约 32 亿,所以算力开销更接近一个小模型,而不是常规的 30B 模型。

Soofi S 是一个混合专家(把一个大模型拆成很多小专家,每次任务只叫醒对口的几个)模型。它总共有 316 亿参数,但每生成一个字(token,模型处理文字的最小单位)只激活约 32 亿。算力开销因此更像一个 3B 小模型,而不是常规的 30B 模型。

它直接照搬了英伟达 Nemotron 3 Nano 的架构:一种把 Mamba-2 层和标准注意力层混在一起的混合设计。和普通模型最大的区别在于处理长文本时的「记忆」方式。普通模型会用一块叫 KV 缓存(存放前文、供模型回看的临时记忆)的东西,输入越长它涨得越大,一多就成了拖慢速度的瓶颈。而 Soofi S 的 52 层里,只有 6 层需要维护这种缓存。

好处直接体现在速度上。在 4 万 token 的上下文、32 个请求并发时,它每块 GPU 每秒吐出的字数,是同级(140 亿到 240 亿参数)密集模型的约 8 倍;更关键的是,从 4000 token 一路拉到 25.6 万 token,它的速度几乎不掉。唯一表现类似的,是阿里巴巴同样用混合架构的 Qwen3.5 35B-A3B。

32 亿 每字实际动用参数 (总 316 亿) 8 倍 长文本下每秒吐字 超同级密集模型 6 / 52 只有 6 层需 维护记忆缓存
Soofi S 总参数 316 亿,但每个 token 只激活约 32 亿;52 层里仅 6 层维护 KV 缓存,换来 4 万 token、32 并发下约 8 倍于同级密集模型的吞吐。数字出自联盟预训练报告。

为德语专门堆料

训练数据刻意向德语倾斜——第二阶段德语占比 15.3%,而它借用的英伟达配方里所有非英语加起来才 5%。

整个训练消耗约 27 万亿 token,分三个阶段:先用约 20 万亿 token 学语言基础,再用约 6 万亿更高质量的数据打磨,最后一个短阶段专门喂超长文档(最长 100 万 token),把上下文窗口撑大。

德语被有意识地加了码。第一阶段德语占训练数据的 7.2%,第二阶段升到 15.3%。作为对照,它借用的英伟达 Nemotron 配方里,所有非英语语言加起来也只有约 5%。

德语数据从哪来?联盟把多个来源拼在一起:HPLT 的德语网页文本、开放授权的 German Commons 语料、FinePDFs 和 FineWiki 的德语部分,以及商业授权的 Genios 语料——里面有来自 916 家德国出版机构的 1.93 亿篇报纸文章。剩下用机器翻译和合成生成的德语补齐。

堆料是有回报的:和纯 Nemotron 配方相比,这套德语数据把模型的德语语言能力拉高了 15.1 分,而英语能力没有下降。

占训练数据比例(%) Soofi 第二阶段德语 15.3% Soofi 第一阶段德语 7.2% 参考配方非英语合计 所有非英语语言加总 约 5%
Soofi S 第二阶段德语占比 15.3%,而它借用的英伟达 Nemotron 配方里,所有非英语语言加起来才约 5%。注意后者是「非英语合计」,口径更宽,仍不及 Soofi 的德语单项。数据出自预训练报告。

强在哪,弱在哪

它的德语和写代码能力在同类开源模型里领先,但数学竞赛题和长文本检索是明显短板。

先说强项。在写代码上,Soofi S 的 HumanEval 得 73.8%、MBPP 得 70.2%、德语版 MBPP 得 84.2%,都是开源同类里最好的。在考德国本地知识的 INCLUDE-DE 上,它以 61.2 分和体量更大的 Qwen3.5 35B-A3B 并列第一。

短板也很明确。德语数学竞赛题(Minerva MATH-DE)它只拿 56 分,明显落后于 Qwen3.5 的 76.5 和谷歌 Gemma 3 27B 的 65.6;在开放式事实检索(NaturalQuestions)上也偏弱。原因大概率就出在那 32 亿激活参数上——它能装下的世界知识,比不上一个真有 270 亿参数在跑的密集模型。

还有一个更刺眼的弱点:在长文本里提取高频词时,一旦上下文超过 3.2 万 token,Soofi S 的命中率掉到约 3%,而同架构的 Nemotron 还能保持 60% 到 64%。作者解释,他们的长文本训练数据有很多长文档,却缺少专门针对「提取」任务的合成数据。在其余十二项 RULER 任务上,两个模型表现相当。

超 3.2 万 token 后,高频词提取命中率(%) 同架构的 Nemotron 60–64% Soofi S 约 3%
在 RULER 长文本测试中,一旦上下文超过 3.2 万 token,Soofi S 提取高频词的命中率掉到约 3%,而同架构的 Nemotron 仍有 60%–64%。60–64% 取中值 62 画条。数据出自预训练报告。

主权算力与开源

整个训练在慕尼黑德国电信的算力中心完成,用可再生能源和运河水冷却,代码、数据清单、检查点几乎全部公开。

训练在今年 3 月到 5 月之间完成,用了慕尼黑德国电信工业 AI 云里最多 512 块英伟达 B200 芯片,累计约 25.3 万 GPU 小时。按报告,这座数据中心完全靠可再生能源运行,用 Eisbach 运河的水冷却,余热还送去给周边的 Tucherpark 街区供暖。Soofi S 是这套设施上第一批大型训练任务之一。

开放程度也写进了账本:联盟不只放出模型权重,还有部分中间检查点、完整的训练与评测代码,以及一份详细的数据清单——每个来源贡献了多少 token、训练了几轮,连「看过但最终没用」的来源都记了下来。据团队说,这让 Soofi S 达到了开源促进会的「开源 AI 定义 1.0」。

不过还有一条更严的欧洲「开放数据」提案没达标:它要求每一个训练 token 都能自由分发,而 Soofi S 里那 1.3% 商业授权的 Genios 数据卡住了这条线。报告称,约 99% 的训练配比可以被独立复现。

512 训练用的英伟达 B200 芯片(峰值) 253,000 GPU 小时, 3 个月训完 99% 训练配比 可被独立复现
训练于 3–5 月在慕尼黑德国电信工业 AI 云完成,峰值 512 块 B200、约 25.3 万 GPU 小时;联盟称约 99% 训练配比可独立复现。数字出自预训练报告。

污染事件与开放的意义

模型开源后,社区在公开的训练数据里发现混入了 GPQA 科学测试的考题,联盟随即撤掉该测试、重算所有 16 个模型的成绩,排名没变。

7 月下旬,联盟发布了第 3 版预训练报告,承认了一起数据污染事件——问题是在开源之后,由社区在公开的训练数据里翻出来的。

出事的是一个叫 QA-base 的数据集,本意只装 25 个标准基准的「改写练习题」,用来教模型认识考试格式,而不是真正的考题。但它意外混进了科学基准 GPQA(包括最难的 GPQA Diamond)测试集里的题目,英文和机器翻译的德文两版都有。

根子在 GPQA 的一个怪癖:在数据平台 Hugging Face 上,它没有单独的训练集,所有测试材料都标着「train」。数据管道按标签抓取,就把考题当成练习题收了进来。事后全面排查又发现另外三个基准(TruthfulQA、BLiMP、Inverse Scaling)有同样的毛病,只是它们没用在 Soofi S 的评测里。

最值得警惕的是,整个训练过程中没有任何人察觉。 模型在受影响的 GPQA 任务上的确一路涨,从 32.3 分升到 43.4 分,但这个涨幅落在正常区间里,和它在别的测试上的进步没什么两样,没有可以当预警的突然尖峰。

联盟的处理是:直接把 GPQA 从评测里删掉,并重算全部 16 个对比模型的成绩,以保证公平——按作者说法,排名顺序没有变化。今后团队会自动拿训练数据和所有考题逐一比对,而不再依赖那些常常误导人的标签。

弗劳恩霍夫 IAIS 的 Nicolas Flores Herr 把这件事当成开放路线有效的证据:正因为数据是公开的,社区才可能发现问题。团队说他们已经放出约 15.2 万条单项结果供人核验;联盟伙伴 Ellamind 还用一批刻意留存、保证模型训练时没见过的私有测试数据做了独立复核,确认了结果。

GPQA 在数据平台上 所有测试题都标着「train」 数据管道按标签抓取 把「train」当练习题收了进来 考题混入练习集 GPQA Diamond 英德两版都进了 训练时无人察觉 分数平稳上升,没有异常尖峰 开源后社区揪出 撤掉 GPQA、重算 16 个模型,排名未变 事后排查还发现另 3 个基准有同样标签问题,但未用于 Soofi S 评测。
污染的来龙去脉:GPQA 在 Hugging Face 上把测试题全标为「train」,管道按标签抓取误当练习题,训练全程无预警,直到开源后被社区发现。过程出自第 3 版预训练报告。

过度训练之争,与该怎么看

有人批评它「喂太多数据」违反经典缩放定律,项目方反驳说那套规则不适用于这种架构;抛开争论,Soofi S 真正的意义是证明了欧洲能用自己的算力、透明地造出一流开源模型。

模型刚发布时,批评者说它按经典的 Chinchilla 定律(2022 年谷歌 DeepMind 提出的一条经验:固定算力下,模型每有一个参数,大约配 20 个 token 训练最划算)来看是「过度训练」了。Soofi S 远远冲过这个比例——约 27 万亿 token 配 300 亿参数,是几百比一;若只算每次激活的 32 亿参数,更是几千比一。

项目技术负责人 Michael Fromm 不认同这个批评。他说这套规则并不能简单套到混合专家架构上:

有新研究表明,来自密集模型的旧缩放定律已经不再适用于 MoE 架构。

道理在于混合专家的构造——每个小专家其实受益于反复看到同样的文档,所以在一个又大又优质的数据集里重复喂数据,危害比密集模型小得多。他还举英伟达为例:后者训练自家模型用到了多达 25 万亿 token。

把这场争论放一边,Soofi S 真正的分量在别处。它证明了欧洲可以用自己的主权算力、以近乎全透明的方式,造出一个在开源阵营里名列前茅的模型——而那起污染事件恰恰说明,透明本身就是一层安全网:错误藏不住,能被外人抓出来、被公开修正。但也别把它读成「欧洲追平了最强 AI」:它依然坦承数学、长文本检索这些硬短板,定位也是夹在 EuroLLM、Teuken 这类多语言主权项目和国际顶尖开源权重模型之间,而不是站上金字塔尖。下一步,联盟正在找工业伙伴,把它放进技术文档、代码生成和 agent(能自己拆解任务、连续干活的 AI 程序)系统里去实测。

每个参数摊到的训练 token(token ∶ 参数) Soofi S(按激活参数) 约 8400 ∶ 1 Soofi S(按总参数) 约 900 ∶ 1 Chinchilla 推荐 约 20 ∶ 1
Chinchilla 定律的甜点约 20 token 配 1 参数;Soofi S 按总参数算约 900∶1,按激活参数算约 8400∶1,远超推荐值——这正是「过度训练」批评的由来,项目方则称此定律不适用于 MoE。推算见下。