英伟达放出了一个双塔扩散模型，生成速度比普通模型快 2.4 倍，质量只掉了 1.3%，权重和代码都已经开源了。
英伟达开源了 60B 参数的双塔离散扩散语言模型 Nemotron-Labs-TwoTower，包括 30B 的自回归上下文塔和 30B 的扩散去噪器塔。在 MMLU 上得分为 78.24，ARC-Challenge 上为 92.66，综合基准质量保留 98.7%。实际运行吞吐量相比自回归模型提升 2.42 倍。模型权重已在 Huggingface 发布，采用 NVIDIA Nemotron Open Model License。
IT之家 7 月 3 日消息，英伟达昨日（7 月 2 日）发布博文，宣布推出 Nemotron-Labs-TwoTower，是一种基于预训练自回归骨干网络的离散扩散语言模型， 致力于解决大模型 Token 生成速度瓶颈。 在开源方面，该模型以开源权重形式在 Huggingface 平台发布，授权协议为 NVIDIA Nemotron Open Model License。 参数方面，该模型总参数为 60B，采用双塔（TwoTower）架构，包括 30B 的自回归模型（AR）/context Tower 和 30B 的扩散 / 降噪 Tower，每个 Tower 激活 3B 模型，128 个可路由专家。 架构方面，TwoTower 最大的亮点，在于拆分传统扩散语言模型中的网络任务，将文本生成任务中的上下文表示与去噪过程分离到两个独立的神经网络“塔”中。 其中一个塔（上下文塔）保持冻结，专注于维护文本的自回归上下文；另一个塔（去噪器塔）经过训练，负责对噪声块进行去噪，两个塔通过逐层交叉注意力连接协作。 性能方面，英伟达表示从综合基准测试质量来看，双塔架构保留 98.7% 的质量表现，但是实际运行时间吞吐量提高了 2.42 倍。IT之家附上相关测试结果如下： 任务 Nemotron-3-Nano-30B-A3B (AR) Nemotron-Labs-TwoTower (diffusion) MMLU (5-shot, acc) 78.56 78.24 MMLU-Pro (5-shot, CoT EM) 62.59 60.93 ARC-Challenge (25-shot, acc_norm) 91.72 92.66 WinoGrande (5-shot, acc) 76.09 76.09 RACE (0-shot, acc) 88.90 88.90 HumanEval (0-shot) 79.27 75.58 MBPP-Sanitized (3-shot) 74.71 74.28 GSM8K (8-shot, acc) 92.49 90.14 MATH-500 (4-shot) 84.40 80.60 MMLU Global Lite (5-shot) 73.97 73.94 MGSM (8-shot, avg acc) 80.80 80.40 Quality retained 100% 98.7% Generation throughput (× AR) 1.0× 2.42×