实时交互

general · First seen 2026-05-22 · Last seen 2026-10-28 · 33 mentions

Overview

实时交互指 AI 系统在毫秒到秒级延迟内对用户语音、视频或操作作出连续响应的能力,是当前多模态大模型竞争的核心方向。与传统的“提问—等待—回答”模式不同,实时交互要求模型边听边看边说、支持随时打断,被视为通向自然对话和可玩世界的关键技术路径。

实时交互模型的近期进展

  • Vivix发布首个实时互动模型,单卡视频生成速度超10000 tokens/s:Vivix 推出的实时互动模型在单张显卡上实现超过 10000 tokens/s 的视频生成速度,并配合 全身体态实时 AI 角色 展示,把低延迟生成从语音扩展到数字人整体动作。
  • SeedRealtime:字节跳动原生音视频全双工大模型:字节跳动 Seed 团队于 2026 年 8 月发布 SeedRealtime,用一个模型原生处理音视频的全双工交互,可同时观察、聆听并说话,不需要多个模块拼接。
  • OpenAI 发布 GPT-Live-1,实现对话中实时听与说:OpenAI 推出 GPT-Live-1,主打对话过程中的实时听说能力,进一步压缩语音对话的响应延迟。
  • OpenMOSS 开源实时视频流多模态模型 MOSS-VL-Realtime:MOSS 团队开源了面向实时视频流的多模态模型,降低了开发者搭建实时交互应用的门槛。
  • 当前焦点与观察点

    实时交互的竞争正沿两条线展开:一是语音对话的全双工化,除 OpenAI 和字节外,微软的 MAI-Voice-2-Flash 以速度提升 2 倍、支持 15 种语言加入战局;二是可实时操控的世界模型,Runway 的 Solaris 界面世界模型、阿里的 HappyOyster 1.0 登陆百炼平台 以及 Minimax H3 Max 在 恐怖游戏开发 中的应用,都指向“生成式内容 + 即时响应”的玩法。学术侧也在跟进,如 VoiceMem 流式双脑记忆系统 试图解决实时交互中的长期记忆问题。

    值得观察的点包括:单卡高吞吐能否持续压低部署成本、全双工模型的打断与轮次控制体验、以及世界模型在游戏等交互场景中的一致性表现。总体来看,实时交互已从语音助手扩展到数字人和可玩世界,各家的差距主要体现在延迟、多模态融合深度与开源策略上。

    Coverage

    10 on file
    实时交互 · AI 话题观测|AI热报