AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:连续去噪×
6月16日
20:46
AITOP6月16日 20:46
600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI
6月12日
12:57
AITOP6月12日 12:57
Claude代码里藏了个20260612,18个月后的AI记忆革命已经开始倒计时
6月11日
15:28
AITOP6月11日 15:28
1107 vs 303:谷歌悄悄开源了一个“拆打字机”的模型,把大模型速度翻了4倍
15:23
AITOP6月11日 15:23
DiffusionGemma颠覆文本生成?自回归模型的“统治”要结束了
15:07
AITOP6月11日 15:07
每秒1107个token,Google开源的扩散模型为什么能改变本地推理格局?
6月2日
09:37
09:37arXiv cs.AI@Longxuan Yu, Yunshu Wu, Yu Fu, Siheng Xiong, Rob Brekelmans, Hui Liu, Yue Dong, Greg Ver Steeg
72°
离散掩码扩散语言模型在少步解码时面临长度与质量的权衡:固定步数下,要么生成短而高质量的输出,要么生成长但重复的文本。连续去噪通过在嵌入空间联合演化所有位置来规避此问题,但大规模从头构建此类模型仍是难题。本文证明,预训练的掩码DLM可轻量适配以支持连续嵌入空间去噪:从LLaDA-8B-Instruct出发,仅用1000步继续预训练(离散随机定位DSL),将二元掩码替换为连续逐token高斯噪声作为软掩码。适配后的模型支持连续推理,在嵌入空间联合演化所有位置,并在最后一步才做出硬token承诺。在低步数(≤16次前向传播)的零样本摘要任务中,DSL-LLaDA-SDE在所有四个基准上取得最佳ROUGE-1,并大幅避免了迭代去掩码的提前终止/重复权衡。该适配还带来选择性噪声状态鲁棒性:模型能纠正被破坏的token,同时保留干净的token。对照实验表明,使用相同计算量的标准掩码扩散训练无法产生这两种行为。
论文扩散语言模型连续去噪LLaDA零样本摘要噪声鲁棒性

推荐理由:这项研究解决了扩散语言模型在少步解码时的质量-长度权衡问题,做文本生成或摘要的开发者可以直接用DSL-LLaDA获得更好的零样本效果,值得关注。
原文
精选全部日报登录