精选理由
做扩散模型或生成式AI的团队，终于不用从零训DLM了——对齐预训练AR模型就能省4倍训练成本，低数据场景尤其划算，建议直接看论文和代码。
Duke大学团队提出REPR-ALIGN方法，通过将扩散语言模型（DLM）的隐藏状态对齐到预训练自回归语言模型（AR LM）的表示空间，避免从零训练DLM的高成本。该方法仅修改注意力掩码，不增加适配器或改变架构，在低数据场景下效果显著，训练速度最高提升4倍。论文指出DLM只需学习解码路径，无需重新学习语言表示。相关论文和代码已开源。
AI 翻译 · 中文
Duke大学团队提出REPR-ALIGN方法，通过将扩散语言模型（DLM）的隐藏状态对齐到预训练自回归语言模型（AR LM）的表示空间，避免从零训练DLM的高成本。该方法仅修改注意力掩码，不增加适配器或改变架构，在低数据场景下效果显著，训练速度最高提升4倍。论文指出DLM只需学习解码路径，无需重新学习语言表示。相关论文和代码已开源。
兄弟们，训练Diffusion LLM原来可以这么省？ 大家都知道扩散语言模型（DLM）很香：支持双向生成、非顺序解码、灵活编辑。 但从零训一个，成本高得离谱。 Duke大学PhD Fred Peng（@pengzhangzhi1）和团队直接给出了一个反直觉的答案： 别重训了，直接对齐就行。 论文标题叫《Don’t Retrain, Align》。 核心思路很简单： 我们已经有强大的预训练Autoregres…