精选理由
英伟达放出了一个双塔扩散模型,生成速度比普通模型快 2.4 倍,质量只掉了 1.3%,权重和代码都已经开源了。
英伟达开源了 60B 参数的双塔离散扩散语言模型 Nemotron-Labs-TwoTower,包括 30B 的自回归上下文塔和 30B 的扩散去噪器塔。在 MMLU 上得分为 78.24,ARC-Challenge 上为 92.66,综合基准质量保留 98.7%。实际运行吞吐量相比自回归模型提升 2.42 倍。模型权重已在 Huggingface 发布,采用 NVIDIA Nemotron Open Model License。
AI 翻译 · 中文
英伟达开源了 60B 参数的双塔离散扩散语言模型 Nemotron-Labs-TwoTower,包括 30B 的自回归上下文塔和 30B 的扩散去噪器塔。在 MMLU 上得分为 78.24,ARC-Challenge 上为 92.66,综合基准质量保留 98.7%。实际运行吞吐量相比自回归模型提升 2.42 倍。模型权重已在 Huggingface 发布,采用 NVIDIA Nemotron Open Model License。
IT之家 7 月 3 日消息,英伟达昨日(7 月 2 日)发布博文,宣布推出 Nemotron-Labs-TwoTower,是一种基于预训练自回归骨干网络的离散扩散语言模型, 致力于解决大模型 Token 生成速度瓶颈。 在开源方面,该模型以开源权重形式在 Huggingface 平台发布,授权协议为 NVIDIA Nemotron Open Model License。 参数方面,该模型总参数为 60B,采用双塔(TwoTower)架…