BAAI 等发布 LLaCO：8B 连续扩散语言模型在数学与代码上超越离散扩散模型
Why we picked it
BAAI 和北邮、北大搞的 LLaCO，8B 连续扩散模型，数学代码上干过了 LLaDA-8B 和 Dream-7B，想追扩散语言模型路线的可以看看。
BAAI、北京邮电大学和北京大学联合发布 LLaCO，一个 8B 参数的连续扩散语言模型。该模型打破此前连续扩散基线，在数学和代码任务上超过 LLaDA-8B 和 Dream-7B 这两个离散扩散模型。结果显示连续扩散路线在深度推理上可与先进 LLM 竞争。
Original · 智源研究院 BAAI
Continuous Diffusion for LLMs just got its breakthrough moment.
Meet LLaCO: a breakthrough 8B Continuous Diffusion Language Model that not only shatters previous continuous baselines, but beats competitive discrete diffusion models like LLaDA-8B and Dream-7B in Math & Code! Continuous Diffusion truly rivals state-of-the-art LLMs in deep reasoning.
Joint work by @BAAIBeijing, BUPT, and PKU👇
