精选理由
做扩散语言模型或高效 Transformer 架构的开发者值得关注——LoopMDM 用简单循环层技巧同时省训练算力、提推理性能，直接可复现。
本文提出 LoopMDM（Looped Masked Diffusion Model），通过在掩码扩散模型的早期-中间层选择性循环，显著提升训练效率和模型性能。训练时循环层产生深度缩放效果而不增加参数，推理时可变循环次数实现灵活计算缩放。在多个预训练语料上，LoopMDM 匹配同尺寸 MDM 性能但节省高达 3.3 倍训练 FLOPs，在 GSM8K 等推理基准上提升最多 8.5 分，甚至超越更深层非循环模型。注意力分析表明，循环促进了掩码位置间的交互。代码和权重将开源。
AI 翻译 · 中文
本文提出 LoopMDM（Looped Masked Diffusion Model），通过在掩码扩散模型的早期-中间层选择性循环，显著提升训练效率和模型性能。训练时循环层产生深度缩放效果而不增加参数，推理时可变循环次数实现灵活计算缩放。在多个预训练语料上，LoopMDM 匹配同尺寸 MDM 性能但节省高达 3.3 倍训练 FLOPs，在 GSM8K 等推理基准上提升最多 8.5 分，甚至超越更深层非循环模型。注意力分析表明，循环促进了掩码位置间的交互。代码和权重将开源。
Masked diffusion models (MDMs) have emerged as a promising alternative to autoregressive models for language modeling, yet the effective design of transformer architectures for MDMs remains underexplored. In this paper, …