#audio generation
ElevenLabs 出了个 Instant Soundtracks,上传视频自动配乐加音效,还能参考原声风格,做视频的可以试试。
Fish Audio 新出的 Drama 3 能只改配音里错的那个词,其他不动,不用整段重录,还支持 83 种语言,做播客和配音的可以试试。
This research demonstrates a new approach to teaching robots how to interact with objects by using both visual and auditory information, which could lead to more precise and effective robotic systems.
朋友在用 AI 生成音频故事,年营收 5 亿美元,推荐你看看他们的增长秘诀,比如用 AI 生成广告视频,CTR 提升后用户获取成本下降 30%。
朋友,印度这家叫 Pocket FM 的公司,用 AI 生成音频内容,效率提升好几十倍,营收也翻倍了,挺有意思的。
Adobe 给 Firefly 加了三个 AI 音频工具,能直接生成音乐、配音和音效。还接入了 Google 的 Gemini Omni Flash,比普通版更快。
皮卡实验室发布了Pika SFX音频效果系统的测试结果,这个系统能做音频效果创作,和别的系统比起来它在实用性等方面表现更好,值得了解下~
Pika 发了 Soundtrack,能把视频压成潜在令牌再生成同步音频,时序和场景都对得上,做视频配乐可以试试。
这个新模型能同时生成24帧视频和48kHz立体声,比之前无声的世界模型多了一路声音,而且马上开源,可以自己跑一跑。
Pika一口气发了4款音频模型,配音、语音、音乐、音效齐了,价格最低压到同行的1/20,做应用开发的可以去看看接不接。
Pika 把音频生成价格打下来了,Soundtrack 每秒 0.617,性价比是 Hunyuan Foley 的两倍,做视频配音可以看看。
这篇论文提出用时间差异做视频生成音频,不用额外网络,效果还超过了对比预训练方法,值得做V2A的人看看。
想做音频类 Agent 产品可以直接抄作业:ShipAny 出了 Voice Agent 模板,配上 OpenAI 或 11labs 的 key 就能跑,适合有声书和播客。
黑森林家的FLUX 3 刚曝光,既能文生视频又能带音效,还和Seedance 2.0打了个平手,甚至能控制机械臂。想尝鲜的可以去申请测试。
字节跳动新出的 Seed Audio 1.0,能对音频做精确到帧的控制,做电影级音效、语音、环境声都行,还支持20多种语言。
字节新出的 Seed Audio 1.0 能精细控制声音时间线,还能跨 20 多种语言保持音色一致,音频可用率超 90%,做视频创作很实用。
想用 Stable Audio 3.0 做自己的音频工具?这个免费工作坊手把手教你搭建自定义应用,别错过。
阿里要推新的AI音乐平台HappyShrimp,一句话就能生成专属音乐,功能挺全,音乐创作者可以关注。
MiniMax Hub这次更新很实在,加了两个新音频模型,还有针对短剧等场景的一站式工作流,工作空间也更方便了。
ElevenLabs同时更新了音乐和语音生成模型,Music v2能从提示生成任何风格音乐,Seed Audio 1.0支持图片转语音,玩法更多了。
火山引擎新模型能一次编排对白、音效、配乐,还能保持10分钟的角色音色一致,省掉后期对轨修音,音频创作者值得一试。
做音频内容的朋友注意了,ListenHub 要接入字节的 Seed Audio 了,以后做播客、配音这些会方便很多。
豆包发了 Seed Audio 1.0,不光能念稿,还能生成音乐和音效,像声音版的 DALL·E,值得听听。
噪点AI和港科大、清华联手做了一个音频模型,4步生成只要0.24秒,比同类快很多,还开源了,想玩音频AI的可以试试。
Stable Audio 3 让音频生成门槛大幅降低——小型模型在普通笔记本上就能跑,做游戏音效、短视频配乐的创作者可以直接上手试试。
音乐创作者和 AI 音频开发者终于有了一个可商用、可定制的开源音频模型——Stable Audio 3.0 支持六分钟生成和 LoRa 微调,做音乐生成或声音设计的团队可以直接上手实验。
音乐创作者和音频开发者终于有了能生成完整歌曲的开源模型——Stability Audio 3.0 的中型版已开源,长度翻倍且结构可控,做音乐生成或音频工具的建议直接下载试试。
Suno 让 AI 音乐创作进入驾车场景,喜欢在车里听歌或想尝试 AI 音乐生成的车主可以直接在 CarPlay 上体验,不用再依赖手机操作。