文章

DiffusionGemma 不是画图的：每秒 1500 token 的扩散语言模型

看到 Diffusion 就想到画图，是这篇技术报告最容易被误读的地方。DiffusionGemma 生成的是文本——它一次并行精修 256 个 token 的块，单张 H100 上跑到约 1500 tokens/s。更值得注意的是它怎么来的：不是从零训练，而是拿 Gemma 4 的 MoE 模型微调，只花了原模型不到 10% 的训练 token 预算。