Chinese contentReMaRL:在冻结扩散语言模型中学习解掩码与重掩码策略
掩码扩散模型的解码顺序其实很影响准确率,这篇论文用 0.3M 参数的小策略在冻结的 LLaDA-8B-Instruct 上学怎么解掩码和重掩码,数学和代码都跑赢了启发式方法。做扩散语言模型推理优化的人值得看。
掩码扩散模型的解码顺序其实很影响准确率,这篇论文用 0.3M 参数的小策略在冻结的 LLaDA-8B-Instruct 上学怎么解掩码和重掩码,数学和代码都跑赢了启发式方法。做扩散语言模型推理优化的人值得看。