Fish Audio 用 Live 3 全双工模型让两个智能体打电话谈成了一次换货,还会像真人一样抢话。和传统客服机器人等你讲完再回话不同,它能边听边说。做语音产品或客服自动化的开发者可以关注他们的无代码搭建方案。
#full-duplex interaction
FishAudio 这个 Live 3 能边听边说,不用像对讲机那样一人一句,语音智能体的打断体验会自然很多。vLLM 团队还主动喊话说开源后第一时间支持。做语音 Agent 的开发者可以先盯住它的开源动向。
语音 Agent 开发者可以看看这个。Fish Audio 的 Live 3 能边说边听,186 ms 的反应速度已经接近真人对话节奏,还分得清“嗯嗯”和真的想插话,这比很多半双工语音方案自然多了。做客服机器人或语音助理的值得跑个 demo 试试,不过暂时只有英语。
Fish Audio 的 Live 3 全双工模型配上 SkillNet 的技能,可以让智能体直接替你接公司电话,还能克隆你的声音、防诈骗、办预订。比起只能按轮次对话的语音方案,它能处理打断和口头反馈,做客服自动化的团队可以试试。
Nuance Labs 搞了个能边听边说的视频角色 Emma,回复时机 89% 对齐真人。有意思的是她的表情来自一位真实演员的录制数据,眨眼、眼神这些小动作都是一个人的。做数字人或虚拟主播的可以看看思路。
nuance_ai 做了个叫 Emma 的 AI 角色,能在你话说一半时就点头接话,还用表情提示轮到她。跟 Siri 那种等你说完才回的产品完全不同,底层的 Nuplex 是全双工视听模型。做语音交互、数字人产品的开发者可以看看这条演示视频。
Block 发了个全双工语音模型 Dessa,纯语音数据训练,M4 Max 笔记本上就能本地跑,不过模型大小和权重都没公开。
Block 发了个叫 Dessa 的语音模型,能边说边听、自带情绪,哽咽疲惫都能演,M4 Max 以上 MacBook 就能本地跑,目前只给安全研究者测。
This multimodal capability significantly improves human-AI interaction by enabling real-time voice interruptions during task processing. For developers in Southeast Asia, this provides a practical implementation of multimodal agents on Ascend hardware, offering an alternative to Western platforms with local hardware integration options.
For developers, GPT-Live-1 offers a more efficient way to build real-time voice applications, potentially reducing code by 80% compared to previous systems.
SeedRealtime 一个模型同时搞定看和听,你指着东西问它“这个怎么弄”,它能结合手势秒懂,比 GPT Live 多了视频全双工。
OpenAI 自己拆解了 GPT-Live 怎么做到 1 秒内全双工对话,还开源了 WARP 协议,想搞实时语音的可以看这套架构。
OpenAI 把 ChatGPT 语音升级成全双工了,能一边听你说话一边插嘴,同传演示挺惊艳。就是刚上线有人嫌它“嗯嗯”太吵,你可以试试调低推理强度或者换语音角色。
OpenAI 这次把语音交互做得更自然了,GPT-Live 系列能边听边说,还能打断和调用工具,比以前的 Advanced Voice Mode 流畅很多。
全双工交互解决了 AI 对话中“你说我听”的延迟感,做实时语音/视频助手或协作工具的团队可以直接参考——Thinky 把自然交互和智能水平平衡好了。
做多模态 AI 交互的开发者终于有了可部署的全双工开源方案——MiniCPM-o 4.5 把实时语音视频对话从概念变成 9B 模型,值得直接上手试。