长视频生成领域终于有了能保持角色一致的开源方案，做视频生成、影视制作的团队可以直接拿来用，省去大量后期修复时间。
京东发布并开源了 JoyAI-Echo 长音视频生成框架，解决了长视频生成中角色身份、声音不一致和生成速度慢的行业难题。该框架内置记忆库，可在多镜头中保持角色外观和音色一致，实测 5 分钟视频无崩坏。通过 DMD 技术实现约 7.5 倍推理加速，并支持对话式编辑，用户可直接用自然语言修改镜头，无需重跑整条视频。京东官方称该框架已进入全球第一梯队，项目已开源在 GitHub。
京东开源 JoyAI-Echo 长音视频生成框架：实现对话式编辑功能，宣称“进入全球第一梯队”
IT之家 6 月 3 日消息，京东今日宣布推出 JoyAI-Echo 长音视频生成框架，号称直接解决行业头疼已久的三大难题 —— 角色易崩、声音乱变、生成缓慢。 同时还实现了“对话式编辑”功能 ，不用再为改一个镜头重跑整条视频。 京东官方表示， JoyAI-Echo 的发布，标志着京东在长视频生成领域进入全球第一梯队 。 据介绍，JoyAI-Echo 框架内置了一个专门的记忆库，能在多镜头生成过程中，持续保存并调用角色的外观特征和说话人音色信息。实测结果显示， 长达 5 分钟的视频里，角色身份、视觉形象和声音音色都能保持高度一致 ，再也不会出现“同一个人演着演着变成另一个人”的尴尬情况。 团队提出了记忆驱动后训练流程，结合 SFT、跨模态 RLHF 和 Distribution Matching Distillation（DMD）技术，不仅提升了生成质量，还实现了推理加速， DMD 一项技术就带来约 7.5 倍的速度提升 。JoyAI-Echo 还加入了智能“导演助理”——Director Agent，支持自然语言说需求，自动拆分成剧本、角色、场景和镜头。 另外，JoyAI-Echo 还配套了专门的实时超分模块，通过单步超分就能生成高分辨率视频和精细化音频，并支持两档分辨率提升：736×1280 → 1152×1920 和 736×1280 → 1472×2560。 IT之家附项目页和 GitHub 代码仓库如下： GitHub： https://github.com/jd-opensource/JoyAI-Echo 项目主页： https://echo-team-joy-future-academy-jd.github.io/Echo-LongVideo-Page/