双向注意力相关 AI 资讯 · AI 热点

6月11日

11:24

11:24

小互@imxiaohu

精选

DiffusionGemma 模型支持微调，Unsloth 团队已成功演示通过微调让该模型学会解数独。这利用了双向注意力的优势，解决了自回归模型在全局约束任务上的天然短板。在特定垂直任务上，微调后的 DiffusionGemma 质量有望追上甚至超越自回归模型。这一进展为扩散模型在需要全局推理的领域打开了新可能。

AI模型 DiffusionGemma 微调双向注意力数独 Unsloth

推荐理由：做垂直任务微调的开发者值得关注——DiffusionGemma 的双向注意力让数独这类全局约束问题有了新解法，建议试试在自家任务上微调对比效果。