NVIDIA 发布 Nemotron-Labs-TwoTower 开放权重扩散语言模型

NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone

精选理由

NVIDIA 把自家 30B 模型改成扩散架构,不再逐个字生成,吞吐量能快很多。开源权重,开发者可以直接拿来用。

AI 摘要

NVIDIA 发布了 Nemotron-Labs-TwoTower,一个基于冻结的自回归骨干 Nemotron-3-Nano-30B-A3B 的离散扩散语言模型。该模型以开放权重形式提供,采用 NVIDIA Nemotron 开放模型许可证。其核心设计旨在解决自回归模型逐个 token 解码导致的吞吐量瓶颈。通过扩散过程并行生成,有望显著提升文本生成速度。

图片来源 · marktechpost
AI 翻译 · 中文

NVIDIA 发布了 Nemotron-Labs-TwoTower,一个基于冻结的自回归骨干 Nemotron-3-Nano-30B-A3B 的离散扩散语言模型。该模型以开放权重形式提供,采用 NVIDIA Nemotron 开放模型许可证。其核心设计旨在解决自回归模型逐个 token 解码导致的吞吐量瓶颈。通过扩散过程并行生成,有望显著提升文本生成速度。

marktechpostNVIDIA has released Nemotron-Labs-TwoTower, a diffusion language model built on a pretrained autoregressive backbone. It ships as open weights under the NVIDIA Nemotron Open Model License. The release targets a throughpu