AITOP

音乐生成

共 37 条相关 AI 资讯
8月21日
02:20
02:20官方账号Pika Labs@pika_labs
Pika Labs 发布了新的 Pika Music 模型。该模型接受文本、歌词、语音参考和音乐参考四种输入模态。这些信号在一个共享的潜在扩散解码器中融合，生成完整的音乐曲目。它不是一系列独立的工作流程。
AI产品Pika MusicPika Labs多模态
推荐理由：Pika Labs 新出的 Pika Music 模型，能同时用文字、歌词、声音和音乐来生成一首歌，比分开处理更方便。
原文
8月19日
11:40
8月17日
17:14
8月15日
16:43
8月14日
15:18
15:09
05:42
05:42Hailuo AI@Hailuo_AI
精选76°
MiniMax 正式发布新一代开源权重音乐模型 MiniMax-Music3。该模型定位生产级（production-ready），可用于多种音乐生成场景。官方称其为 SOTA 级开源音乐模型。权重开放，开发者可自行部署和微调。
AI模型MiniMaxMusic3开源模型
推荐理由：MiniMax 把音乐模型开源了，叫 Music3，号称开源里最强，能直接生成各种风格的音乐，适合想做 AI 音乐应用的人。
原文
03:49
8月5日
11:32
8月4日
23:56
7月30日
09:45
02:44
7月23日
11:29
11:29官方账号arXiv cs.AI@Junyu Dai, Xinyue Fan, Weiqin Li, Xiangang Li, Yunjia Li, Bin Ma, Yukun Ma, Chongjia Ni, Yufei Shi, Haoxu Wang, Menglin Wu, Jianwei Yu, Huaicheng Zhang, Han Zhao, Shengkui Zhao, Haina Zhu
本文提出一个统一的全歌曲生成框架，支持从歌词、文本描述和音乐属性生成完整歌曲。该框架包含四个组件：语义感知分词器将音频编码为8码本RVQ令牌，hybird-LM进行层次化自回归音频令牌建模，FullDiT在连续VAE潜空间中执行流匹配渲染，两级旋律模块用于翻唱生成。在人工分析音乐带歌声排行榜上取得竞争性能，并探索了DPO、GRPO和OPD作为后训练策略。实验在多语言自动基准上进行评估。
论文hybird-LMFullDiT歌曲生成
推荐理由：这篇论文提出了一个能生成完整歌曲的框架，支持歌词生成、纯音乐和翻唱，还在排行榜上验证了效果，音乐生成方向的同学可以看看。
原文
7月22日
10:25
10:25官方一手pandaily@contact@pandaily.com (Pandaily)
昆仑万维发布Mureka V9.5，采用O3反思推理技术提升音乐自然度。搭配MuCo创作智能体实现专业化制作。生成的AI音乐在音质和情感表达上接近人类创作，减少机器痕迹。该版本在音色连贯性和旋律流畅性上优于前代V9。
AI模型Mureka V9.5昆仑万维O3
推荐理由：昆仑万维的Mureka V9.5用O3推理让AI音乐听起来不像机器做的，做歌更自然，值得试试。
原文
7月21日
11:33
7月17日
11:17
7月15日
08:03
7月13日
16:02
7月10日
14:43
7月8日
09:52
09:52官方账号arXiv cs.AI@Josef Pavlicek
该论文提出一种结合量子启发式候选探索与显式规则优化的混合架构，用于从旋律自动生成和声。系统通过重叠旋律语境实现候选探索，并利用优化层提升结构连贯性、功能一致性和鲁棒性。实验使用可复现指标评估，包括结构连贯性、功能和声一致性、和声相似性和鲁棒性。结果表明，该方法在保持调性结构和终止行为的同时，允许多种有效的和声实现，且无需训练语料库。
论文量子启发式音乐生成和声生成
推荐理由：想自动生成和声但又怕结果太随意？这篇论文用量子启发式加规则优化，让旋律变和弦既灵活又可控，还不用训练数据。
原文
7月4日
08:48
08:48官方账号Stability AI@StabilityAI
精选
团队 Motif 在 Stable Audio 3.0 上微调，使其识别阿拉伯 maqam 音阶。他们开发了一个 Ableton 插件，实现微音阶风格转移。该作品在 StabilityAI 举办的 Stable Audio 3.0 挑战赛中获胜，并能在本地设备运行。演示视频由 Jad Al Masri 讲解。
AI产品Stable Audio 3.0MotifAbleton 插件
推荐理由：StabilityAI 挑战赛冠军团队 Motif 把 Stable Audio 3.0 微调后做成了 Ableton 插件，专门处理阿拉伯音乐微音阶，本地就能跑。
原文
6月30日
13:55
13:55官方账号arXiv cs.AI@Shun Lei, Huaicheng Zhang, Dapeng Wu, Yaoxun Xu, Lishi Zuo, Wei Tan, Hangting Chen, Guangzheng Li, Jianwei Yu, Zhiyong Wu, Dong Yu
LeVo 2 是一个混合 LLM-Diffusion 框架，用于可控完整歌曲生成。它通过分层建模，先用 LeLM 预测混合 token 进行语义规划，再并行预测声乐和伴奏 token 细化细节，最后用扩散 Music Codec 重建波形。该框架引入美学引导训练，前训练阶段用自动音乐评估为大规模数据标注音乐性层级。渐进后训练依次使用 SFT、大规模离线 DPO 和闭环半在线 DPO 提升生成质量、可控性和音乐性。专家听测和客观评估显示，LeVo 2 在六个主观维度上超越开源基线，并在多项指标接近商业系统。
AI模型LeVo 2音乐生成分层建模
推荐理由：LeVo 2 发布了一个能生成完整歌曲的模型，通过分层建模和美学引导训练，歌唱质量和可控性都比开源方案强，已经逼近商业系统水平。
原文
6月24日
22:36
6月16日
12:14
12:14官方账号arXiv cs.LG@Yonghyun Kim, Junwon Lee, Haiwen Xia, Yinghao Ma, Junghyun Koo, Koichi Saito, Yuki Mitsufuji, Chris Donahue
TuneJury 是一个面向文本到音乐生成的开放实例级成对奖励模型，基于人类偏好标签（包括竞技场投票、指标对齐偏好、众包成对比较和专家美学评分）训练。它通过简单分数阈值支持数据过滤，在保留测试对和分布外基准上表现良好，并胜过先前的基线。该模型还引入锚定校准方法，以更高的数据效率恢复一致性，并在三种下游应用（推理时最优N采样、DITTO风格潜在优化和专家迭代后训练）中持续提升奖励轴收益。TuneJury 已在 GitHub 发布。
论文TuneJury音乐生成多模态
推荐理由：如果你在搞音乐生成，想用人类偏好来对齐模型，这个开源的奖励模型 TuneJury 可以让你直接拿来用，还附带了三种应用示例，比重新训一个省事多了。
原文
09:11
09:11官方账号ElevenLabs@elevenlabsio
ElevenLabs 推出 Music v2 SDK，开发者可通过文本提示生成音乐，人声、乐器和编曲质量相比 v1 显著提升。新版本支持参考匹配现有音轨，实现风格或结构复制。多语言输出功能增强，支持非英语语言生成更自然的音乐。
AI产品ElevenLabsMusic v2音乐生成
推荐理由：ElevenLabs 的 Music v2 SDK 让开发者直接用文字生成音乐，还能参考现有曲子做匹配，多语言效果也不错，做音视频应用很实用。
原文
01:05
00:57
00:57官方账号ElevenLabs@elevenlabsio
71°
ElevenLabs 推出 Music v2，通过 ElevenAPI 供开发者将 AI 音乐生成与编辑嵌入自身产品。新版本在人声、乐器编排和音轨质量上全面升级，支持更多音乐流派及多语言，并实现了此前无法完成的创作功能。API 接口允许实时生成并迭代调整音乐片段。
AI产品ElevenLabsMusic v2ElevenAPI
推荐理由：ElevenLabs 发了 Music v2，API 直接能集成到你的软件里。人声和编曲比之前好很多，还支持多语种，做音乐工具或游戏音效可以用它。
原文
6月12日
11:19
11:19官方账号arXiv cs.LG@Kyuil Lee, Dezhi Yu, Yongkang Huang
该研究系统比较了三种生成模型在巴赫风格钢琴音乐生成上的表现：带注意力的自回归LSTM、潜变量模型（包括循环VAE和向量量化VAE）以及生成对抗网络。实验表明，带注意力的自回归LSTM生成的音乐连贯性最佳；向量量化有助于缓解后验崩溃问题，生成的结构化输出优于传统循环VAE；对抗方法能捕捉局部音高模式，但训练困难且风格泛化不稳定。研究揭示了不同方法在符号音乐生成中的优势与局限。
论文音乐生成自回归模型潜变量模型
推荐理由：做音乐AI或生成式模型的研究者，这篇论文直接对比了三大主流方法在巴赫风格音乐上的效果，结论清晰，适合作为技术选型参考。
原文
6月5日
05:21
5月27日
10:49
10:49官方账号arXiv cs.LG@Yuchen Liang, Ness Shroff, Yingbin Liang
精选
离散扩散模型在文本和符号领域表现优异，但均匀率模型生成样本时通常需要大量步骤。现有加速方法要么需要额外训练，要么混合速度慢。本文提出Gibbs加速离散扩散（GADD），利用具体分数函数结构直接构建Gibbs后验似然，无需额外训练。GADD实现了O(polylog(ε^{-1}))的采样复杂度，是均匀率离散扩散模型的首个此类理论保证。实验表明，GADD在合成数据、零样本文本生成和条件音乐生成中，显著提升了样本质量和计算效率，优于标准基线方法。
论文离散扩散模型Gibbs校正器采样加速
推荐理由：离散扩散模型加速一直是个难题，GADD用Gibbs校正器实现了理论最优采样复杂度，做生成模型的研究者可以直接参考其方法。
原文
5月22日
08:20
5月21日
12:49
10:22
10:22官方账号arXiv cs.LG@Shinnosuke Taksuka, Hideo Mukai
精选
该研究提出 Musical Attention 机制，通过将小节号、调号、拍号和速度等元信息融入注意力计算，解决 Transformer 生成音乐时常见的重复和音符冗余问题。每个音符被表示为音高、小节号、起始时间、时长、力度及三个元信息共八个特征，注意力机制据此调整相关性权重。实验表明，该方法在音乐连贯性、多样性和整体质量上优于 Full Attention 和 Strided Attention，显著减少重复并增强和声一致性。这项工作是 AI 音乐生成领域的重要进展，有助于生成更自然、富有表现力的旋律。
论文音乐生成Transformer注意力机制
推荐理由：做 AI 音乐生成或音频研究的团队可以关注——这个机制直接解决了 Transformer 生成音乐时“重复啰嗦”的痛点，用元信息让旋律更自然，值得在自家模型上试试。
原文
5月13日
12:33
12:33
12:33
12:33