Runway Solaris Interface Model
Solaris offers a new approach to real-time interactive UI generation, though its practical application is limited by current technical constraints.
Runway released Solaris, claiming it as the first interface world model that functions like a new operating system. The model can generate interactive video frames in real-time that respond to user clicks and drags. It demonstrates features like resizing objects by dragging and repositioning elements with dynamic lighting updates. The system is built on video generation technology but currently faces challenges with latency, cost, consistency and speed.
还得是 Twitter，很难想象会跟纳瓦尔本人产生交集 歸藏(guizang.ai) @op7418 Runway 发布的这个新模型 Solaris 挺有意思，他们说是首个界面世界模型，本质上叫新型操作系统，可以逐帧实时生成交互界面。 它生成的视频能根据你的点击和拖动实时发生变化。比如下面这个例子： • 向上拖动树，树就会变大 • 向斜下方拖动壁画，壁画也会变大 • 把灯拖出来移动位置，它就会放到你拖动到的最终位置，并重新渲染光线和物体之间的交互 • 点击的话还会弹出一个 UI 选项，让你去变换样式 这一切都是基于视频模型去完成的。 我觉得这个想法和思路还是挺好的，但目前实时生成的问题依然比较大。 主要问题在于延迟、实时生成的成本、一致性，以及连贯性和速度问题 Your browser does not support the video tag. 🔗 View on Twitter 🔗 View Quoted Tweet 💬 0 🔄 0 ❤️ 1 👀 1735 ⚡
