AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：LLaDA×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月2日
09:37
09:37arXiv cs.AI@Longxuan Yu, Yunshu Wu, Yu Fu, Siheng Xiong, Rob Brekelmans, Hui Liu, Yue Dong, Greg Ver Steeg
72°
离散掩码扩散语言模型在少步解码时面临长度与质量的权衡：固定步数下，要么生成短而高质量的输出，要么生成长但重复的文本。连续去噪通过在嵌入空间联合演化所有位置来规避此问题，但大规模从头构建此类模型仍是难题。本文证明，预训练的掩码DLM可轻量适配以支持连续嵌入空间去噪：从LLaDA-8B-Instruct出发，仅用1000步继续预训练（离散随机定位DSL），将二元掩码替换为连续逐token高斯噪声作为软掩码。适配后的模型支持连续推理，在嵌入空间联合演化所有位置，并在最后一步才做出硬token承诺。在低步数（≤16次前向传播）的零样本摘要任务中，DSL-LLaDA-SDE在所有四个基准上取得最佳ROUGE-1，并大幅避免了迭代去掩码的提前终止/重复权衡。该适配还带来选择性噪声状态鲁棒性：模型能纠正被破坏的token，同时保留干净的token。对照实验表明，使用相同计算量的标准掩码扩散训练无法产生这两种行为。
论文扩散语言模型连续去噪LLaDA零样本摘要噪声鲁棒性
推荐理由：这项研究解决了扩散语言模型在少步解码时的质量-长度权衡问题，做文本生成或摘要的开发者可以直接用DSL-LLaDA获得更好的零样本效果，值得关注。
原文
5月19日
11:07
11:07arXiv cs.LG@Junyi Wu, Tianchen Zhao, Shaoqiu Zhang, Linfeng Zhang, Guohao Dai, Yu Wang
精选
扩散语言模型（dLLM）通过联合去噪一批[MASK]令牌实现并行解码，但大块掩码令牌导致大量计算冗余。研究发现，许多计算花费在重复处理前文上下文和特征表示相同的[MASK]令牌上。为此，提出位置保持的[MASK]令牌压缩和终端感知增强方法，通过压缩冗余计算加速解码，并自然扩展到长上下文场景。在LLaDA-8B-Instruct和LLaDA-1.5等全序列dLLM上验证了效果，对LLaDA2.0-mini等块dLLM，通过保护终端[MASK]令牌增强上下文，以极小开销提升生成质量。
论文扩散语言模型上下文压缩并行解码LLaDA计算冗余
推荐理由：扩散LLM的并行解码效率一直是痛点，这篇工作直接戳中计算冗余的核心，做模型推理加速或长上下文应用的开发者值得关注，压缩方法可以直接集成到现有dLLM中。
原文