SeedRealtime 全模态全双工模型：看懂画面、理解手势
SeedRealtime 一个模型同时搞定看和听，你指着东西问它“这个怎么弄”，它能结合手势秒懂，比 GPT Live 多了视频全双工。
SeedRealtime 将声音、画面、时序与表达纳入同一个模型，听、看、理解、推理、说话全在一个模型内完成。
相比主流多模块级联（ASR 转文字、VLM 理解画面、TTS 合成语音）或依赖外置 VAD 的半双工逻辑，SeedRealtime 在连续音视频流上同步进行感知、理解、决策与表达。实测中，用户指着天龙功放按键问“这个怎么弄”，模型能结合画面、手势和视线方向判断指代。
据称 OpenAI GPT Live 仍是音频全双工，SeedRealtime 做到了视频、音频、文本的全模态全双工。
SeedRealtime，一个能看懂画面、理解手势、识别物品的全模态全双工交互模型。 现有主流音视频实时交互，要么是多模块级联（ASR 转文字、VLM 理解画面、TTS 合成语音），延迟层层叠加，信息逐级损耗。要么号称端到端，但轮次判断仍然依赖外置 VAD 模块，本质上还是一问一答的半双工逻辑。 用户说话的时候，模型在等。模型说话的时候，用户也在等。 SeedRealtime 将声音、画面、时序与表达纳入到同一个模型实时决策，听、看、理解、推理、说话全在一个模型里。在连续音视频流上，感知、理解、决策与表达同步进行，使听到的和看到的能够参与每次的实时判断。 比如当用户说"这个怎么弄"，"这个"是什么？在纯语音系统，问题无解。 在 SeedRealtime 里，模型会结合当前画面、用户的手势、视线方向和历史操作，判断"这个"的具体指向。 当遇到同音词或语音模糊时，也能借助视觉场景消除歧义。 这里可以看我的实测，手指着天龙功放按键，模型理解回答，很自然。 据说 OpenAI GPT Live 也只是音频全双工，SeedRealtime 则是全模态（视频、音频、文本）全双工，强啊！
This report is categorized under AITOP's "Models" desk. Key entities and technical topics under continuous tracking include SeedRealtime, OpenAI GPT Live, 多模态, 全双工.
Source attribution: curated from 向阳乔木 (@vista8). Cross-source corroboration: 11 independent sources have covered this development (including 小互, IT之家, Gary Marcus), confirming industry-wide signal strength.
