豆包上线SeedRealtime视频通话:能持续识物并主动提醒
豆包视频通话上新SeedRealtime,能看着画面主动提醒你找展品,看视频也能实时问答,更新App就能试。
字节跳动 SeedRealtime 原生音视频全双工大模型已随豆包 App 最新版全量上线。该模型支持持续视觉感知,用户说“看到错金银铜虎噬鹿屏座就提醒我”,逛展时镜头扫到展品会自动出声提醒。
实测中,豆包能边看 YouTube 边回答画面中人物身份,还能解读一闪而过的图表。官方称下一步重点是降低延迟、更自然的节奏,以及多人复杂场景的稳定性。
除了音视频联合理解,还有一个点很打动我,就是主动交互。 传统对话模型是被动的,用户问,模型答。 SeedRealtime 引入了持续的视觉感知,让模型能在画面状态发生变化时主动开口。 官方博物馆案例:用户说"看到错金银铜虎噬鹿屏座就提醒我",然后开始逛展。 模型跟随镜头一直在"看"画面,当扫到用户提到的展品时,主动出声提醒。 任务是存在上下文里,目标出现才触发,不是每隔几秒就打扰用户。 另外就是交互节奏和流畅性都比之前版本好很多,接话停顿自然,能分清闲聊和背景噪音,抗干扰强,误触发少。 SeedRealtime下一步重点:更低延迟、更自然节奏。更主动的感知与决策,多人复杂场景稳定性。 个人最期待是:与现实世界打通,把多模态理解变成具体行动,帮用户实现查询、预定与任务办理,从“能对话”到“能行动”。 感觉这个模型会影响具身机器人的发展速度,字节还是有东西! 向阳乔木 @vista8 昨天豆包的视频通话功能升级了,感觉比 GPT Live 还强! 可以看我录屏,真的超预期。 测试让豆包陪我一起看一个Youtube视频,画面出现个人,直接问这人是谁,竟然答对了! 画面有个一闪而过的图表,问:“刚才有个图表,你能给我解读下吗?”。 它竟然知道我指的是哪个图,并完整解释。 对话延迟低,语音自然,也没有GPT Live的老外腔(国产模型天然优势),很像真人对话。 未来场景相当多啊!K12教育、导览、机器人、实时翻译总结等。 Seed官方公众号说这个技术叫:原生音视频全双工大模型 SeedRealtime。 豆包 App 已全量上线,更新到最新版,点"打电话"图标,开摄像头就能用,不用申请内测。 下面技术解读和另一个测试。
This report is categorized under AITOP's "Products" desk, focusing on China's AI industry and domestic foundation model ecosystem. Key entities and technical topics under continuous tracking include 豆包, SeedRealtime, 字节跳动, 视频通话.
Source attribution: curated from 向阳乔木 (@vista8).