京东开源 JoyAI-Echo 长音视频生成框架,实现对话式编辑

京东开源 JoyAI-Echo 长音视频生成框架:实现对话式编辑功能,宣称“进入全球第一梯队”

精选理由

长视频生成领域终于有了能保持角色一致的开源方案,做视频生成、影视制作的团队可以直接拿来用,省去大量后期修复时间。

AI 摘要

京东发布并开源了 JoyAI-Echo 长音视频生成框架,解决了长视频生成中角色身份、声音不一致和生成速度慢的行业难题。该框架内置记忆库,可在多镜头中保持角色外观和音色一致,实测 5 分钟视频无崩坏。通过 DMD 技术实现约 7.5 倍推理加速,并支持对话式编辑,用户可直接用自然语言修改镜头,无需重跑整条视频。京东官方称该框架已进入全球第一梯队,项目已开源在 GitHub。

AI 翻译 · 中文

京东发布并开源了 JoyAI-Echo 长音视频生成框架,解决了长视频生成中角色身份、声音不一致和生成速度慢的行业难题。该框架内置记忆库,可在多镜头中保持角色外观和音色一致,实测 5 分钟视频无崩坏。通过 DMD 技术实现约 7.5 倍推理加速,并支持对话式编辑,用户可直接用自然语言修改镜头,无需重跑整条视频。京东官方称该框架已进入全球第一梯队,项目已开源在 GitHub。

IT之家IT之家 6 月 3 日消息,京东今日宣布推出 JoyAI-Echo 长音视频生成框架,号称直接解决行业头疼已久的三大难题 —— 角色易崩、声音乱变、生成缓慢。 同时还实现了“对话式编辑”功能 ,不用再为改一个镜头重跑整条视频。 京东官方表示, JoyAI-Echo 的发布,标志着京东在长视频生成领域进入全球第一梯队 。 据介绍,JoyAI-Echo 框架内置了一个专门的记忆库,能在多镜头生成过程中,持续保存并调用角色的外观特征和说话人