精选理由
扩散模型终于能高效处理文本了，做NLP或生成式AI的团队可以关注这个新范式——数据需求降低10倍，性能反而更好，值得一试。
研究人员提出Embedded Language Flows方法，让扩散模型在文本生成任务上仅需传统方法十分之一的数据量即可达到更优性能。该方法全程在连续嵌入空间操作，仅在最后一步将向量转换为单词，无需单独的解码器。通过预测干净嵌入而非噪声，并在训练中应用无分类器引导，该方法在语言基准测试中困惑度更低，并在翻译和摘要任务上超越自回归模型。这一成果挑战了“连续扩散在语言领域行不通”的普遍认知。
AI 翻译 · 中文
研究人员提出Embedded Language Flows方法，让扩散模型在文本生成任务上仅需传统方法十分之一的数据量即可达到更优性能。该方法全程在连续嵌入空间操作，仅在最后一步将向量转换为单词，无需单独的解码器。通过预测干净嵌入而非噪声，并在训练中应用无分类器引导，该方法在语言基准测试中困惑度更低，并在翻译和摘要任务上超越自回归模型。这一成果挑战了“连续扩散在语言领域行不通”的普遍认知。
A new paper made image models work for text with 10x less data. Researchers just released a new approach for generating text with diffusion models. Diffusion models dominate image and video generation. For text, leadin…