精选理由
LeVo 2 发布了一个能生成完整歌曲的模型,通过分层建模和美学引导训练,歌唱质量和可控性都比开源方案强,已经逼近商业系统水平。
LeVo 2 是一个混合 LLM-Diffusion 框架,用于可控完整歌曲生成。它通过分层建模,先用 LeLM 预测混合 token 进行语义规划,再并行预测声乐和伴奏 token 细化细节,最后用扩散 Music Codec 重建波形。该框架引入美学引导训练,前训练阶段用自动音乐评估为大规模数据标注音乐性层级。渐进后训练依次使用 SFT、大规模离线 DPO 和闭环半在线 DPO 提升生成质量、可控性和音乐性。专家听测和客观评估显示,LeVo 2 在六个主观维度上超越开源基线,并在多项指标接近商业系统。
AI 翻译 · 中文
LeVo 2 是一个混合 LLM-Diffusion 框架,用于可控完整歌曲生成。它通过分层建模,先用 LeLM 预测混合 token 进行语义规划,再并行预测声乐和伴奏 token 细化细节,最后用扩散 Music Codec 重建波形。该框架引入美学引导训练,前训练阶段用自动音乐评估为大规模数据标注音乐性层级。渐进后训练依次使用 SFT、大规模离线 DPO 和闭环半在线 DPO 提升生成质量、可控性和音乐性。专家听测和客观评估显示,LeVo 2 在六个主观维度上超越开源基线,并在多项指标接近商业系统。
Full-length song generation must preserve coherence and musicality, render detailed vocal and accompaniment acoustics, and follow lyrics and prompts. Existing language model-based systems face a structural trade-off: mix…