小米 WorldCast 框架上线 REDMI K100:静态照片生成 3D 运镜视频
小米 WorldCast 3D 运镜在 REDMI K100 上线:平面照片还原成三维场景,并虚拟出真实相机轨迹
小米把自家 WorldCast 论文做成了 REDMI K100 上的实拍功能,一张照片就能生成环绕运镜视频,人物还不变形,可以直接在手机上试。
小米技术官方 11 月 4 日宣布,REDMI K100 影像功能新增 3D 运镜玩法,用户从相册选一张静态照片即可生成大角度 3D 运镜视频,镜头可环绕、推拉、倾斜。该功能背后是小米近期论文公开的视觉生成框架 WorldCast,它通过解读画面深度结构把平面照片还原成三维场景,并在其中虚拟出真实相机轨迹。框架在镜头运动过程中持续保持人物五官、发型、衣着的一致性。小米表示已沉淀配套方法、数据集和评测方式,后续将探索更复杂运镜、更长连续生成及可控 4D 视频生成。
小米 WorldCast 3D 运镜在 REDMI K100 上线:平面照片还原成三维场景,并虚拟出真实相机轨迹
IT之家 11 月 4 日消息,小米 REDMI K100 手机已于 10 月 27 日正式发布。据小米技术官方今日介绍,该机在影像上新增了 3D 运镜的 AI 玩法 —— 从相册选一张静态照片,AI 就能生成一段大角度 3D 运镜视频,镜头可以环绕、推拉、倾斜,而画面中人物的五官、发型、衣着始终保持一致。 IT之家从小米技术官方了解到,支撑这项功能的,是小米在近期公开论文里带来的 视觉生成框架 WorldCast :它通过解读画面的深度结构,把平面照片还原成三维场景,并在其中虚拟出一条真实相机轨迹,让镜头像被真实拍摄一样运动,能够在镜头运动过程中持续保持主角外观的一致性。 ▲ WorldCast 框架总览:轨迹对齐的几何引导 × 几何对齐的多视角角色记忆 小米技术官方称,WorldCast 是小米在可控视觉生成方向上的又一突破,它不只让 REDMI K100 的相册多了一种玩法,更重要的是把方法、数据集和评测方式沉淀了下来。在这套底座之上,团队将进一步探索更复杂的运镜形态、更长的连续生成,以及可控 4D 视频生成技术等。