Chinese contentLOOT 架构让掩码扩散语言模型具备自纠错能力
掩码扩散模型一直被人诟病生成后改不了字,这篇论文用 LOOT 架构解决了这个痛点。在 OpenWebText 上推理开销只有之前方法的零头,MAUVE 还更高。做非自回归生成、对推理成本敏感的团队可以认真读一下。
掩码扩散模型一直被人诟病生成后改不了字,这篇论文用 LOOT 架构解决了这个痛点。在 OpenWebText 上推理开销只有之前方法的零头,MAUVE 还更高。做非自回归生成、对推理成本敏感的团队可以认真读一下。