实时交互指 AI 系统在毫秒到秒级延迟内对用户语音、视频或操作作出连续响应的能力,是当前多模态大模型竞争的核心方向。与传统的“提问—等待—回答”模式不同,实时交互要求模型边听边看边说、支持随时打断,被视为通向自然对话和可玩世界的关键技术路径。
实时交互模型的近期进展
当前焦点与观察点
实时交互的竞争正沿两条线展开:一是语音对话的全双工化,除 OpenAI 和字节外,微软的 MAI-Voice-2-Flash 以速度提升 2 倍、支持 15 种语言加入战局;二是可实时操控的世界模型,Runway 的 Solaris 界面世界模型、阿里的 HappyOyster 1.0 登陆百炼平台 以及 Minimax H3 Max 在 恐怖游戏开发 中的应用,都指向“生成式内容 + 即时响应”的玩法。学术侧也在跟进,如 VoiceMem 流式双脑记忆系统 试图解决实时交互中的长期记忆问题。
值得观察的点包括:单卡高吞吐能否持续压低部署成本、全双工模型的打断与轮次控制体验、以及世界模型在游戏等交互场景中的一致性表现。总体来看,实时交互已从语音助手扩展到数字人和可玩世界,各家的差距主要体现在延迟、多模态融合深度与开源策略上。