19:56量子位@听雨由三位00后开发者耗时两个月打造的流式音视频社交模型,在推理速度上达到SOTA水平。相比谷歌的Veo 3,其速度提升7倍,成本降低至1/2000。模型支持实时音视频交互,适用于社交场景。AI模型Veo 3流式模型音视频社交SOTA推荐理由:三个00后做的音视频社交模型,速度比谷歌Veo 3快7倍,成本低到吓人,适合实时互动场景。原文
02:02Jerry Liu@jerryjliu0Karan Goel 团队发布 Sonic-3.5(文本转语音)和 Ink-2(语音转文本)两种流式模型。新架构实现了速度和质量的突破,将两者推向各自类别的榜首。该团队自称是目前唯一同时拥有排名第一的语音输入和输出模型的提供商。AI模型Sonic-3.5Ink-2语音识别语音合成流式模型推荐理由:Karan Goel 发了两个新模型,Sonic-3.5 做 TTS 排名第一,Ink-2 做 STT 也是第一,说是唯一一家听说都做到顶的。做语音智能体的话看看。原文
15:55marktechpost@Asif Razzaq精选NVIDIA发布了Nemotron 3.5 ASR,一个600M参数的流式语音识别模型。该模型采用cache-aware架构,可从单个检查点实时转录40种语言-区域。它针对低延迟场景优化,支持多种语言的实时语音转文字。AI模型Nemotron 3.5 ASRNVIDIA语音识别流式模型多语言10 个信源在谈推荐理由:600M模型转40语言实时原文
10:55arXiv cs.AI@Zhifei Xie, Zihang Liu, Ze An, Xiaobin Hu, Yue Liao, Ziyang Ma, Dongchao Yang, Mingbao Lin, Deheng Ye, Shuicheng Yan, Chunyan Miao72°现有大型音频语言模型(LALM)多为离线处理,而流式音频模型又各自为政,只能处理单一任务(如流式语音识别或语音聊天)。研究者提出 Audio Interaction Model 概念,通过始终在线的“感知-决策-响应”循环,实现实时听音、理解环境并即时反应。他们构建了 Audio-Interaction 统一流式模型,并配套 SoundFlow 框架(含流式数据构建、理解感知训练和异步低延迟推理)以及 260 万条流式语料 StreamAudio-2M。在 8 个基准测试中,该模型在保留主流音频任务性能的同时,解锁了实时 ASR、流式音频指令跟随和主动帮助等离线模型无法实现的能力。论文音频交互流式模型LALMSoundFlow实时ASR推荐理由:做语音交互或智能助手的团队终于有了一个能同时处理流式对话、环境音和实时指令的统一模型,比拼凑多个专用模型高效太多,做音频 AI 的建议点开看看框架和数据集。原文