精选理由
做3D人体运动生成的团队终于有了摆脱昂贵3D标注的可行方案——VideoMDM用2D视频就能训练出接近3D监督水平的模型，做动画、运动分析或虚拟人开发的可以直接试。
VideoMDM 是一种基于扩散的框架，能够仅从单目视频中提取的精确2D姿态直接训练3D人体运动先验，无需任何3D真实数据。它利用预训练的2D转3D提升器提供近似3D姿态序列作为噪声教师，在3D空间扩散和去噪后，通过重投影到2D并与精确关键点比较进行监督。论文证明在温和假设下，深度加权的2D重投影损失在期望上等价于直接3D监督，并适配了速度一致性和过参数化表示对齐等标准3D运动正则化器。在HumanML3D数据集上，VideoMDM几乎缩小了与完全3D监督方法的差距（FID 0.88 vs 0.54），在真实视频数据集Fit3D和NBA上生成的运动更受人类偏好。
AI 翻译 · 中文
VideoMDM 是一种基于扩散的框架，能够仅从单目视频中提取的精确2D姿态直接训练3D人体运动先验，无需任何3D真实数据。它利用预训练的2D转3D提升器提供近似3D姿态序列作为噪声教师，在3D空间扩散和去噪后，通过重投影到2D并与精确关键点比较进行监督。论文证明在温和假设下，深度加权的2D重投影损失在期望上等价于直接3D监督，并适配了速度一致性和过参数化表示对齐等标准3D运动正则化器。在HumanML3D数据集上，VideoMDM几乎缩小了与完全3D监督方法的差距（FID 0.88 vs 0.54），在真实视频数据集Fit3D和NBA上生成的运动更受人类偏好。
We introduce VideoMDM, a diffusion-based framework that trains 3D human motion priors directly from accurate 2D poses extracted from monocular videos, without any 3D ground truth. A pretrained 2D-to-3D lifter provides ap…