11:09官方账号arXiv cs.LG@Lohithsai Yadala Chanchu, Hany Abdulsamad, Christian A. Naesseth本研究针对离散扩散语言模型的文本生成推理时间控制,旨在引导采样向序列级奖励发展,无需重新训练。通过嵌套蒙特卡洛方法解决现有粒子方法如best-of-n采样和bootstrap SMC的过度优化和权重退化问题。NSMC和FA-NSMC在毒性和流畅性引导任务上优于best-of-n和bootstrap SMC。论文嵌套蒙特卡洛方法离散扩散语言模型文本生成推荐理由:这篇论文提出了嵌套蒙特卡洛方法在离散扩散语言模型推理时间控制中的应用,对于想要了解如何优化文本生成模型的人来说是个好资源。原文稍后读已读值得跟进有用关注 嵌套蒙特卡洛方法
10:37官方账号arXiv cs.LG@Tamim Zoabi, Ameen Ali, Liran Ringel, Lior Wolf离散扩散语言模型通过并行生成令牌降低延迟,但独立选择易产生不兼容配置。本文提出训练免费解码框架,利用成对交互调整commit scores,通过变分松弛实现不动点更新。该方法无需辅助模型或重训练,可嵌入现有扩散解码流程。在推理和代码生成基准上,该方法在质量-延迟权衡方面取得一致改进。论文离散扩散语言模型并行解码推理基准推荐理由:不用额外训练,给离散扩散模型装上智能调度,并行生成质量更好、延迟更低。推理和代码生成都有效。原文稍后读已读值得跟进有用关注 离散扩散语言模型