#ReMaRL

1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "ReMaRL", newest first.
Nov 18
Chinese contentReMaRL:在冻结扩散语言模型中学习解掩码与重掩码策略

掩码扩散模型的解码顺序其实很影响准确率,这篇论文用 0.3M 参数的小策略在冻结的 LLaDA-8B-Instruct 上学怎么解掩码和重掩码,数学和代码都跑赢了启发式方法。做扩散语言模型推理优化的人值得看。

arXiv cs.LG@Egor Shibaev et al. (6)Source