Runway的Solaris能实时生成可交互界面，拖拽点击就能改变界面元素，无需代码编写。
Runway发布了首个界面世界模型Solaris，这是一种新型操作系统，能逐帧实时生成交互界面。Solaris可根据用户点击和拖动实时变化界面元素，如拖动树或壁画会改变大小，移动灯会重新渲染光线交互。该模型在生成新界面时，在结构相似性和信息保留方面优于前沿大语言模型。
Runway 发布的这个新模型 Solaris 挺有意思，他们说是首个界面世界模型，本质上叫新型操作系统，可以逐帧实时生成交互界面。 它生成的视频能根据你的点击和拖动实时发生变化。比如下面这个例子：...
Runway 发布的这个新模型 Solaris 挺有意思，他们说是首个界面世界模型，本质上叫新型操作系统，可以逐帧实时生成交互界面。 它生成的视频能根据你的点击和拖动实时发生变化。比如下面这个例子： • 向上拖动树，树就会变大 • 向斜下方拖动壁画，壁画也会变大 • 把灯拖出来移动位置，它就会放到你拖动到的最终位置，并重新渲染光线和物体之间的交互 • 点击的话还会弹出一个 UI 选项，让你去变换样式 这一切都是基于视频模型去完成的。 我觉得这个想法和思路还是挺好的，但目前实时生成的问题依然比较大。 主要问题在于延迟、实时生成的成本、一致性，以及连贯性和速度问题 Your browser does not support the video tag. 🔗 View on Twitter Runway @runwayml Today, we're sharing new research on Solaris, our first Interface World Model. Solaris is a new kind of operating system that generates interactive interfaces frame by frame, in real time, with no code. We find that Solaris outperforms frontier LLMs when generating new interfaces, across structural similarity and information retention. Read more and request early access at the link below. Your browser does not support the video tag. 🔗 View on Twitter 🔗 View Quoted Tweet 💬 1 🔄 2 ❤️ 9 👀 2501 📊 2 ⚡