精选理由
这篇论文给掩码扩散模型加了重新掩码机制,像有个纠错开关,Sudoku和QM9上效果很好,值得做推理优化的读者看看。
MDM-VGB是一种面向掩码扩散模型的高效采样器,在推理时通过奖励引导的重新掩码机制来增强生成质量。理论证明MDM-VGB对过程验证器噪声具有鲁棒性,计算复杂度为二次方,而best-of-N方法可能因误差累积达到指数复杂度。在Sudoku和QM9等约束满足与科学基准上,MDM-VGB实现了强实证性能,同时支持高奖励生成与低奖励样本的有效修复。
AI 翻译 · 中文
MDM-VGB是一种面向掩码扩散模型的高效采样器,在推理时通过奖励引导的重新掩码机制来增强生成质量。理论证明MDM-VGB对过程验证器噪声具有鲁棒性,计算复杂度为二次方,而best-of-N方法可能因误差累积达到指数复杂度。在Sudoku和QM9等约束满足与科学基准上,MDM-VGB实现了强实证性能,同时支持高奖励生成与低奖励样本的有效修复。
Inference-time scaling is a promising paradigm to improve generative models, especially when outputs must satisfy structural constraints or optimize downstream rewards. We consider Masked Diffusion Model (MDM) and introd…