谁能想到啊，在自回归模型（Autoregressive，AR）当道的现在，一个

　　被长期视为学术玩具的扩散语言模型，直接在复杂编程任务中飙出了892 tokens/秒的速度！

　　你没看错，当主流大模型还在以几十token的速度逐字蹦词时，这个非主流模型已经在100B参数规模上，跑出了如此的速度。

　　2025年，蚂蚁集团资深技术专家赵俊博曾经带着LLaDA2.0登上量子位MEET大会的舞台，而如今，他们的最新版本LLaDA2.1来了，蚂蚁技术研究院重磅开源！

　　而这一次，LLaDA2.1的诞生，标志着这个路线的历史性转折。它不再只是一个“学术研究”，而是真正可用、甚至在效率上更为优越的强大工具。

　　那么在整个行业都在卷更大的自回归模型时，蚂蚁到底是怎么低调修了另一条“能跑通的高速公路”的？

　　在深入技术之前，我们先得聊聊为什么现在的ChatGPT、Claude们总是慢条斯理。

　　因为它们几乎全部采用自回归架构，这种模式如同一个不能打草稿的考生，必须从左到右、一字一句地生成文本，写完即定稿，无法回头修改。

　　而扩散模型的理论优势在于并行，可以同时处理所有文本位置，理论上能一次成篇，拥有巨大的速度潜力。

　　但扩散语言模型在早期一直有个致命伤，那就是容易胡说八道，且缺乏全局一致性。因为并行生成时，各个部分可能是各玩各的，导致前后文逻辑不通。

　　基于可纠错编辑的底层能力，LLaDA2.1引入了灵活的双模式解码策略，实现了单个模型，同时支持极速与质量两种模式：

　　Speedy Mode（极速模式）：大幅降低τ_mask阈值，激进并行生成初稿，依赖T2T编辑进行后期修正。适合代码草稿、快速推理、多轮试探式生成等对吞吐量敏感的场景。

　　Quality Mode（质量模式）：采用保守阈值，减少编辑次数，优先保障输出准确性。适合正式文档生成、高精度推理等对结果质量要求严苛的场合。

　　在此之前，LLaDA-MoE和LLaDA2.0需要二次开发提供额外的加速版本，比如基于路径蒸馏的加速等；这类加速版本因为非联合训练优化，虽然实现了对基础版本的一定加速，但是精度掉点普遍严重；同时一个模型多个版本，也增加用户选择的难度以及模型管理的成本。

　　单模型双模式，避免了上述问题。用户可以根据具体需求，仅需一条config就能实现模式切换。

　　自回归模型像是一个不允许带草稿纸、不允许带提纲的作者，它下笔无悔，不允许修改自己写好的内容。

　　但现实中，大部分情况下我们可能是先有了想法去写草稿，哪怕有错别字，先动笔写着；写完之后，我们再回头细读一遍，把不通顺的、有错别字的地方改掉。

　　阶段一（M2T, Mask-to-Token）：模型以极高的速度，并行生成一个草稿。这个阶段可能会有一些噪声和错误，但速度极快。

　　阶段二（T2T, Token-to-Token）：立即启动编辑模式。模型站在全局视角，对刚才生成的草稿进行检查。如果发现某些token置信度低或者逻辑不通，就直接进行回溯式修正。

　　而LLaDA2.1在后续步骤中检测到“steps”的置信度更高，果断将“walks”替换为“steps”，成功恢复正确引文。

　　这种允许自我修正的能力，从根本上解决了扩散模型的曝光偏差问题。它让模型敢于在初稿阶段追求速度，再通过编辑阶段保障质量。

　　它在毫秒级的闪电采样中完成了“草稿”到“正卷”的华丽转身，不再被困在序列的起点，而是直接站在全局的高度，去编辑、去重塑、去定义AGI时代的推理新范式。

　　如果说可纠错编辑解决了怎么生成的问题，那么强化学习则是解决了生成得好不好的问题。

　　原因在于，自回归模型的序列似然可直接分解为token级概率乘积，而扩散模型基于块状采样（block-diffusion），序列级似然难以直接计算，导致传统策略梯度方法失效。

　　结果显而易见：LLaDA2.1在IFEval（指令遵循评估）、BFCL（函数调用）等对齐类任务上显著提升，证明扩散模型不仅能快，更能懂你。

　　正如我们刚才提到的，LLaDA2.1百亿参数版本在处理HumanEval+等复杂编程任务时，实现了892 tokens/秒的峰值速度。

　　在涵盖知识、推理、代码、数学及指令遵循的33个权威基准测试 中，LLaDA2.1在质量模式下全面超越了前代LLaDA2.0。

　　即使在追求速度的极速模式下，其性能下降也微乎其微，真正做到了 “鱼与熊掌可以兼得”。

　　除此之外，团队还开源了16B的Mini版本，其在部分任务上的峰值速度甚至超过1500 tokens/秒，为更轻量化的部署提供了可能。