Event ·Single source

LynnReal-Hand:用手部动作直接操控的交互式视频世界模型

一篇 arXiv 论文提出 LynnReal-Hand,一个通过手部控制直接与视频世界模型交互的系统。团队整理了 100K 条覆盖真实与合成环境的手部交互片段,并设计手部感知监督来提升细粒度动作与物体交互的建模质量。 技术上有三个关键组件:用因果流映射实现少步生成,用区域感知分数蒸馏融合视频与图像先验来优化交互动态,并推出轻量视频解码器 Ultra-Fast-VAE 降低推理开销。在 HandBench 上,完整序列模型取得 FVD 181.67、MANO Dice 93.02,三步因果模型的 MANO Dice 也达到 92.49。 实时性能方面,单张 H200 上 540p 流式生成达到 18.03 FPS,延迟 741ms,峰值显存仅 34.89GB。团队承诺开源数据集、模型权重与完整训练推理代码,可支撑手控世界模型方向的后续研究。

Current read

用手就能直接操控视频世界模型,不再只靠文字和镜头指令。单张 H200 跑到 18 FPS、延迟 741ms,还能实时交互。做具身智能、交互仿真或者世界模型研究的开发者值得关注,代码和数据都会开源。

2 sources47° AI heatLast updated 2026/11/16 17:51:44

Evidence

2 sources
Primary sourcearXiv cs.AI
View source
Related source 1Gorden Sun
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.