MarkTechPost ↗ · 2026-11-20 22:44 · UTC+8
NVIDIA 发布 Nemotron-Labs-Sigma 连续扩散语言模型
模型更新 MarkTechPost 原文语言:英文
NVIDIA 推出了 Nemotron-Labs-Sigma,这是一个包含 14 个检查点、参数规模涵盖 3B 和 8B 的连续扩散语言模型系列。该模型在平滑的潜空间中去噪文本,使得文本的少步蒸馏和轨迹引导变得切实可行。
全文
NVIDIA 已发布 Nemotron-Labs-Sigma,这是一套包含 14 个 3B 与 8B 规模的开放检查点。Nemotron-Labs-Sigma 是一种连续扩散语言模型家族,在 16 维嵌入空间中对文本进行去噪。大多数扩散 LLM(如 LLaDA 和 Dream)在离散 token 上工作,而 Sigma 在平滑的潜在空间中运行。NVIDIA 团队表示,这使得少步蒸馏和轨迹引导在文本上变得可行。
TL;DR
规模:3B 与 8B 参数,14 个检查点。上下文长度为 4,096 token(Sigma-8B-instruct 为 8,192 token)。
运行环境:1 块支持 bfloat16 的 NVIDIA GPU(Ampere、Lovelace、Hopper、Blackwell)。在 1 块 H100 上约为 120~140 token/秒。未提供 CPU 支持,也未列出量化变体。
性能:Sigma-8B 基础模型在 NVIDIA 的 6 项任务套件上平均得分 71.16,领先于 NLD-8B(70.22)。
最佳:在 GSM8K 上得分 91.96(Sigma-8B-instruct,256 步 DDPM)。
最差:在 AIME25 上得分 17.00(同一模型与采样器)。
结论:最佳:8 步蒸馏的 8B 保持 70.34 的平均分。最差:指令模型的平均分 59.14,略低于 NLD-8B(59.92)。
什么是 Nemotron-Labs-Sigma?
研究团队称 Sigma 为首个大规模连续扩散语言模型家族。该集合在每个规模下有 4 种变体:
基础版:Sigma-3B 与 Sigma-8B。
指令版:Sigma-3B-instruct 与 Sigma-8B-instruct。
少步蒸馏版:distill-3B 与 distill-8B,NFE 为 2、4、8、16(共 8 个检查点)。
自我推测版:distill-spec-3B 与 distill-spec-8B。
连续扩散在语言上是如何工作的?
每个 token 映射到学习得到的 16 维嵌入空间中的一点。训练时向这些嵌入添加高斯噪声,并教模型去除噪声。嵌入几何结构与去噪器共同学习。
生成过程按块进行。每个去噪块在下一个块开始前会写入 KV 缓存。块的默认大小为 64 token。
模型骨干是 Ministral 风格的仅解码器 Transformer,采用分组查询注意力、SwiGLU 与旋转嵌入。训练从约 1T token 的自回归预热开始,随后进行约 0.3T token 的扩散训练。
推理时,classifier‑free 引导和分数温度最为关键。模型卡页推荐在 32 步 DDIM 时使用引导系数 3、温度 0.3。
为什么连续空间重要?
离散扩散在 token 状态之间跳跃,其轨迹难以控制。Sigma 则沿平滑的 ODE/SDE 路径前进。根据论文,这些轨迹在低步数下仍能优雅退化并高效蒸馏。嵌入空间的引导还能调节 pass@k 采样的质量‑多样性权衡。
Sigma 在基准测试上的表现如何?
在研究的 6 项基础任务套件中,Sigma-8B 使用 256 步 DDPM 的平均得分为 71.16。NLD-8B 在扩散模式下得分 70.22,Dream-7B 为 58.74,LLaDA-8B 为 41.78。Qwen3-8B 在自回归模式下得分 68.91。使用更便宜的 32 步 DDIM 采样器,Sigma-8B 仍可获得 70.18 的平均分。
编码表现最为突出。Sigma-8B 在 HumanEval 上得分 65.12,而 NLD-8B 为 62.80。MBPP 稍弱,分别为 65.74 与 67.00。
经过 SFT 后,Sigma-8B-instruct 在 GSM8K 上得分 91.96,MATH-500 为 78.40,HumanEval 为 82.50。硬推理仍受限,AIME24 为 23.33,AIME25 为 17.00。其 10 项任务平均分 59.14 略低于 NLD-8B 的 59.92。所有分数均为 NVIDIA 自行评测。
蒸馏与推测检查点的解码速度如何?
Sigma-distill-8B-nfe8 在每个 32 token 块中进行 8 次去噪调用加一次读取。其卡片报告的 6 项任务平均分为 70.34,GSM8K 为 88.44,HumanEval 为 65.18,接近 256 步教师模型。
NVIDIA 的发布帖将提升描述为数学上每前向 8 token,代码上每前向 4 token。
distill-spec 检查点加入了自推测解码。扩散头先草拟 32 token 块,模型自带的自回归头进行验证。输出与贪婪自回归解码完全一致。在 1 块 GB200 搭配 SGLang 时,8B 推测模型平均比自回归解码快 3.46 倍,同配置下 NLD-8B 为 3.04 倍。峰值加速在 8B 时达 4.20 倍,3B 时达 3.18 倍。
如何部署 Nemotron-Labs-Sigma?
全部 14 个检查点已在 Hugging Face 上发布,遵循 NVIDIA Nemotron 开放模型许可证。卡片声明模型已可用于商业用途。需要支持 bfloat16 的 CUDA GPU:Ampere、Lovelace、Hopper 或 Blackwell。不支持 CPU 推理。
加载时需使用 PyTorch 2.4+、Transformers 4.55+ 并开启 trust_remote_code。在 1 块 H100 上,基础模型的生成速度约为 120~140 token/秒。蒸馏模型卡列出了 vLLM、SGLang 与 Docker Model Runner 供服务使用。NVIDIA 本身不提供 API。
Sigma 与其他 8B 扩散和自回归模型相比如何?
基准行使用 Sigma 论文中的 NVIDIA 评估(表 2 基础,表 5 指令)。规格来自各模型自己的卡片。
FeatureSigma-8BNLD-8BDream-7BLLaDA-8BQwen3-8B
GenerationContinuous diffusion (16-D)Discrete diffusion, AR, self-specDiscrete diffusionDiscrete diffusionAutoregressive
Parameters8B8B7B (card lists 8B)8B8.2B
Context4,096 (instruct 8,192)未披露未披露未披露32,768 (131,072 YaRN)
LicenseNVIDIA Nemotron Open ModelNVIDIA Nemotron Open ModelApache 2.0MITApache 2.0
HardwareNVIDIA GPU, bf16, no CPU NVIDIA GPU (tested DGX Spark, GB200)未披露未披露未披露
Base 6-task avg71.1670.2258.7441.7868.91 (AR)
GSM8K88.5787.2677.1870.9686.73
HumanEval65.1262.8054.8832.3264.63
MBPP65.7467.0056.8040.8069.40
Instruct 10-task avg59.1459.9240.5437.24未披露
AvailabilityOpen weights, HFOpen weights, HFOpen weights, HFOpen weights, HFOpen weights, HF
关键要点
Sigma 将语言扩散迁移到学习到的 16 维连续嵌入空间。
14 个公开检查点:3B 和 8B 基础模型、指令模型、蒸馏模型和投机模型。
Sigma-8B 基础模型平均得分 71.16,领先于 NLD-8B 的 70.22。
自投机 8B 解码速度平均比自回归快 3.46 倍。
薄弱环节:AIME25 上为 17.00,基础上下文为 4,096 令牌,仅限 GPU。
查看论文、模型集合和项目页面。
正文为 AI 译文。