全部 AI 动态 · AI 热点

arXiv cs.AI@Junxia Cui, Haotian Ye, Runchu Tian, Hongcan Guo, Jinya Jiang, Haoru Li, Chaojie Ren, Yiming Huang, Kaijie Zhu, Zhongkai Yu, Kun Zhou, Jingbo Shang

精选

扩散大语言模型（dLLMs）作为自回归（AR）模型的替代方案，通过并行或块解码实现更快推理，但其掩码语言建模公式与标准token级推测解码不兼容。AR模型利用因果掩码实现单次前向验证多个草稿token，而dLLMs依赖掩码token和双向注意力，导致有效上下文随去噪步骤变化，无法直接进行token级推测验证。为此，研究者提出SimSD，一种简单有效的推测解码算法，采用即插即用的掩码策略，为dLLMs提供时间上有效的token级上下文。该方法显式引入草稿模型的参考token，并设计注意力掩码调节其与当前步骤token的交互，使dLLMs能在单次前向前向计算草稿token的有效logits，恢复AR模型的验证能力同时保持dLLMs的并行解码优势。SimSD无需训练，可灵活集成KV缓存和块解码等加速技术，在四个基准测试中实现高达7.46倍的解码吞吐量提升，同时保持甚至改善平均生成质量。

论文推测解码扩散语言模型推理加速掩码策略训练无关

推荐理由：扩散语言模型终于有了实用的推测解码方案，做模型推理加速的团队可以直接集成SimSD，无需额外训练就能获得数倍吞吐提升，值得关注。

原文

09:37

arXiv cs.AI@Longxuan Yu, Yunshu Wu, Yu Fu, Siheng Xiong, Rob Brekelmans, Hui Liu, Yue Dong, Greg Ver Steeg

72°

离散掩码扩散语言模型在少步解码时面临长度与质量的权衡：固定步数下，要么生成短而高质量的输出，要么生成长但重复的文本。连续去噪通过在嵌入空间联合演化所有位置来规避此问题，但大规模从头构建此类模型仍是难题。本文证明，预训练的掩码DLM可轻量适配以支持连续嵌入空间去噪：从LLaDA-8B-Instruct出发，仅用1000步继续预训练（离散随机定位DSL），将二元掩码替换为连续逐token高斯噪声作为软掩码。适配后的模型支持连续推理，在嵌入空间联合演化所有位置，并在最后一步才做出硬token承诺。在低步数（≤16次前向传播）的零样本摘要任务中，DSL-LLaDA-SDE在所有四个基准上取得最佳ROUGE-1，并大幅避免了迭代去掩码的提前终止/重复权衡。该适配还带来选择性噪声状态鲁棒性：模型能纠正被破坏的token，同时保留干净的token。对照实验表明，使用相同计算量的标准掩码扩散训练无法产生这两种行为。

论文扩散语言模型连续去噪 LLaDA 零样本摘要噪声鲁棒性

推荐理由：这项研究解决了扩散语言模型在少步解码时的质量-长度权衡问题，做文本生成或摘要的开发者可以直接用DSL-LLaDA获得更好的零样本效果，值得关注。

原文

5月19日

11:07

arXiv cs.LG@Junyi Wu, Tianchen Zhao, Shaoqiu Zhang, Linfeng Zhang, Guohao Dai, Yu Wang

精选

扩散语言模型（dLLM）通过联合去噪一批[MASK]令牌实现并行解码，但大块掩码令牌导致大量计算冗余。研究发现，许多计算花费在重复处理前文上下文和特征表示相同的[MASK]令牌上。为此，提出位置保持的[MASK]令牌压缩和终端感知增强方法，通过压缩冗余计算加速解码，并自然扩展到长上下文场景。在LLaDA-8B-Instruct和LLaDA-1.5等全序列dLLM上验证了效果，对LLaDA2.0-mini等块dLLM，通过保护终端[MASK]令牌增强上下文，以极小开销提升生成质量。

论文扩散语言模型上下文压缩并行解码 LLaDA 计算冗余

推荐理由：扩散LLM的并行解码效率一直是痛点，这篇工作直接戳中计算冗余的核心，做模型推理加速或长上下文应用的开发者值得关注，压缩方法可以直接集成到现有dLLM中。

原文