京东开源 JoyAI-Video-Edit，边看边改视频，720P 30帧/秒、任意时长，效果超 LiveEdit，还能生成机器人训练数据。
京东开源的 JoyAI-Video-Edit 是一款实时流式视频编辑模型，在 720P 分辨率下达到每秒 30 帧的推理速度。它支持任意时长的连续编辑，用户可在视频播放过程中实时修改场景、替换物体或调整人物形象。在与 SANA Streaming、LiveEdit、Xmax-X2.0 的对比中，该模型在典型编辑场景下全面领先。在 OpenVE-Bench 通用评测中，它超越了所有流式编辑方法，尤其在全局风格、局部替换、局部删除和字幕编辑任务上优势突出。该模型还可将人手操作视频转化为机械臂操作素材，用于具身智能训练数据合成。
视频能“边播边改”：京东开源自研 JoyAI-Video-Edit 模型，各项指标全球领先
IT之家 8 月 5 日消息，京东今日宣布开源自研的实时流式视频编辑模型 JoyAI-Video-Edit ，用户可以一边观看视频，一边修改人物与场景，让视频创作从“先有素材再修改”变为可实时互动编辑。 京东官方表示，在流式实时视频编辑方向，JoyAI-Video-Edit 对比当前业内代表性模型， 各项指标全面领先，达到世界一流水平 。 视频实时编辑首先要解决速度问题。视频由一帧帧连续画面组成，如果模型处理速度跟不上播放速度，就会出现卡顿与延迟。JoyAI-Video-Edit 基于全自研 JoyAI-Video 模型， 在 720P 分辨率下实现每秒 30 帧的模型推理速度 ，能够在保持较高画面清晰度的同时，跟上常见影视视频的播放节奏。 视频长度也是流式编辑的一道门槛。此前的流式编辑模型只能处理几秒或分钟级片段， 而 JoyAI-Video-Edit 支持任意时长的稳定流式编辑 ，可以随着视频持续播放、持续处理。用户不必等待整段视频生成完成，就能在播放过程中实时修改场景、替换物体、调整人物形象或改变画面风格，实现“边观看边创作”。 例如，创作者可以让视频中的人物连续更换服装，在直播中把普通街道变成动画世界，也可以在家装设计中尝试不同的家具、墙面和灯光效果。 为了评估模型能力，研究团队将 JoyAI-Video-Edit 与 SANA Streaming、LiveEdit、Xmax-X2.0 等国际上有代表性流式视频编辑模型进行对比。结果显示，在覆盖典型视频编辑场景的评测数据中， JoyAI-Video-Edit 整体效果全面领先 。 在业界权威的 OpenVE-Bench 通用评测中， 模型超越了目前所有的流式编辑方法 ，在全局风格、局部替换、局部删除和字幕编辑等任务中优势尤其突出，大幅领先行业同类模型。 不止视频创作，JoyAI-Video-Edit 还为具身智能数据大规模合成提供了新的技术路径。机器人训练需要大量物体抓取、搬运与操作视频，但真机数据采集成本较高，危险或少见场景也难以反复采集。依托对场景、物体与画面内容的可控编辑能力， JoyAI-Video-Edit 可将人手操作视频转化为机械手或机械臂操作素材 ，并在保留物体位置、空间关系与动作轨迹的基础上，替换场景、物体与机器人形态，让一段视频扩展出更多训练样本。 IT之家附 JoyAI-Video-Edit 开源地址如下： https://huggingface.co/jdopensource/JoyAI-Video-Edit https://github.com/jd-opensource/JoyAI-Video-Edit