做扩散模型或生成式AI的团队，终于不用从零训DLM了——对齐预训练AR模型就能省4倍训练成本，低数据场景尤其划算，建议直接看论文和代码。
Duke大学团队提出REPR-ALIGN方法，通过将扩散语言模型（DLM）的隐藏状态对齐到预训练自回归语言模型（AR LM）的表示空间，避免从零训练DLM的高成本。该方法仅修改注意力掩码，不增加适配器或改变架构，在低数据场景下效果显著，训练速度最高提升4倍。论文指出DLM只需学习解码路径，无需重新学习语言表示。相关论文和代码已开源。
兄弟们，训练Diffusion LLM原来可以这么省？ 大家都知道扩散语言模型（DLM）很香：…
兄弟们，训练Diffusion LLM原来可以这么省？
大家都知道扩散语言模型（DLM）很香：支持双向生成、非顺序解码、灵活编辑。
但从零训一个，成本高得离谱。
Duke大学PhD Fred Peng（@pengzhangzhi1）和团队直接给出了一个反直觉的答案：
别重训了，直接对齐就行。
论文标题叫《Don’t Retrain, Align》。
核心思路很简单：
我们已经有强大的预训练Autoregressive LM（AR LM），里面已经学好了绝大部分语言表示。
DLM真正需要改的只是生成顺序和去噪行为。
所以他们提出了REPR-ALIGN：在做masked diffusion训练的同时，逐层用余弦相似度，把DLM的hidden states对齐到冻结的AR teacher模型上。
不需要加adapter，不需要改架构，只改attention mask。
结果：在他们的实验设置里，训练速度最高提升4倍，低数据场景下效果尤其明显。
一句话总结：
不要把表示空间从头重训一遍，对齐它，让模型只去重新学习解码路径就够了。
Paper：https://t.co/LTY40NcJJo Code：https://t.co/ldGlmMVly7
如果你在搞扩散模型、生成式AI或者长上下文生成，这篇值得立刻读。