豆包实时音视频通话模型 SeedRealtime 1.0 API 全量上线,支持边看边听边说
豆包实时音视频通话模型 1.0 API 全量上线,可实现边看边听边说全模态实时交互
火山引擎把豆包的全模态实时通话模型开放成 API 了,端到端架构不用再串联 ASR、TTS 那一堆模块,延迟和对话节奏问题减少一半。做语音助手、智能硬件或陪伴类应用的开发者可以直接接,和 OpenAI Realtime API 属于同类路线。
11 月 19 日,火山引擎正式上线豆包实时音视频通话模型 SeedRealtime 1.0 的 API 服务,将声音、画面、时序与表达统一到同一个端到端模型中,实现边看、边听、边说的全模态实时交互。相比传统语音级联系统需要 ASR、VLM、TTS 多模块串联,端到端架构避免了延迟叠加和信息损耗,音视频对话节奏问题减少了一半。
SeedRealtime 1.0 具备持续环境感知与主动表达能力:模型能持续理解场景变化,在关键目标出现或任务节点到来时主动开口提醒。官方示例中,模型看到用户将咖啡豆直接倒入萃取手柄会提醒先研磨,萃取完成后还能根据油脂和出液量主动建议缩短时长。它还能结合视觉消解同音词歧义,在嘈杂环境中分辨说话对象与背景噪声,不因干扰误触发。
多人场景下,模型可结合视觉与语音自动区分不同人物并记住身份,在多人聚餐中依据各自需求定制旅行方案。官方给出的定位是帮助实时 AI 应用从「会对话」走向「会协助」,适用场景包括语音助手、智能硬件、陪伴式应用和实时客服。
豆包实时音视频通话模型 1.0 API 全量上线,可实现边看边听边说全模态实时交互
IT之家 11 月 19 日消息,今天,火山引擎正式上线豆包实时音视频通话模型(SeedRealtime 1.0) API 服务,带来全模态交互的新体验。 据介绍,SeedRealtime 将声音、画面、时序与表达统一到同一个端到端模型中, 能在连续的多模态信息流上实时交互,带来“边看、边听、边说”的全新体验。 这大大降低了传统语音级联系统依赖 ASR、VLM、TTS 等多个模块串联带来的延迟叠加和信息损耗。模型不再只是等待用户提问,而能持续理解场景变化,在合适的时机主动开口,把看、听、说纳入同一套实时决策体系,让“听到的”和“看到的”共同参与每一次实时判断与表达。 IT之家注意到,SeedRealtime 原生支持声音、画面与时序信息的深度融合,既能结合场景消解同音词歧义,也能准确理解视觉中的时序指代,让所见、所闻与所说融为一体。 这意味着,在多人、嘈杂、开放的真实环境中,模型不仅能看懂当前画面,还能分清说话对象、理解上下文关系,并基于多模态信息完成更准确的实时判断。无论是多人协同交流、跨语言导览,还是带视觉上下文的实时问答,交互都更自然、更完整。 在多人聚餐场景中,Seed Realtime 1.0 可结合视觉、语音区分自动不同人物,记住各人身份,还能能依据多人不同需求定制旅行方案。 Seed Realtime 1.0 具备持续环境感知与主动表达能力,能够在察觉关键目标出现、画面状态变化或任务节点到来时,主动进行提醒、反馈和补充,让交互从被动响应升级为主动协作。 这种能力让模型可以更好适配真实业务流程。例如在设备操作、学习辅助、任务提醒等场景中,模型能够持续观察当前状态,在合适时机主动介入,而无需用户每一步都显式发问。对开发者而言,这将帮助实时 AI 应用从“会对话”进一步走向“会协助”。 在机器操作场景中,Seed Realtime 1.0 看到用户将整颗咖啡豆倒入萃取手柄,及时提醒咖啡豆需要先研磨;萃取完成后,根据咖啡油脂和出液量,主动给出缩短萃取时长的建议,可在真实场景里自主点评,不用用户一步步提问。 在学习场景中,Seed Realtime 1.0 能持续监控翻页画面,识别到指定章节后快速提醒用户并,并随即报出学习率、动量、权重衰减等关键配置训练参数。 Seed Realtime 1.0 能够实时感知用户的对话状态与交流节奏,在适当时机自然接话、停顿与回应,并具备较强的抗干扰能力,可分辨旁人闲聊与背景噪声,不因干扰误触发。 相比级联模型,Seed Realtime 1.0 的音视频对话节奏问题减少了一半,单次对话能够完整、顺畅交流的概率也有明显提升。这意味着,开发者在构建语音助手、智能硬件、陪伴式应用、实时客服等场景时,有机会获得更接近自然交流的人机互动体验。 在嘈杂交通场景中,Seed Realtime 1.0 能够自动过滤机场内的无关闲聊信息,当用户询问时,调用之前看到的大屏航班信息作答,同时精准识别指示牌,主动指引旅客到达网约车上车点。 在家庭场景中,妈妈在一旁忙着别的事,让 Seed Realtime 1.0 陪女儿学习动物英文。背景里爸爸正在接电话、人声不断,但模型不受影响,始终跟着女孩手指的方向实时纠音、举例造句,出声时不迟疑,受干扰时不跑偏。
This report is categorized under AITOP's "Products" desk, focusing on China's AI industry and domestic foundation model ecosystem. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include SeedRealtime, Volcano Engine, Doubao, multimodal.
Source attribution: curated from IT之家.