10:55
arXiv cs.AI@Zhifei Xie, Zihang Liu, Ze An, Xiaobin Hu, Yue Liao, Ziyang Ma, Dongchao Yang, Mingbao Lin, Deheng Ye, Shuicheng Yan, Chunyan Miao 现有大型音频语言模型(LALM)多为离线处理,而流式音频模型又各自为政,只能处理单一任务(如流式语音识别或语音聊天)。研究者提出 Audio Interaction Model 概念,通过始终在线的“感知-决策-响应”循环,实现实时听音、理解环境并即时反应。他们构建了 Audio-Interaction 统一流式模型,并配套 SoundFlow 框架(含流式数据构建、理解感知训练和异步低延迟推理)以及 260 万条流式语料 StreamAudio-2M。在 8 个基准测试中,该模型在保留主流音频任务性能的同时,解锁了实时 ASR、流式音频指令跟随和主动帮助等离线模型无法实现的能力。
推荐理由:做语音交互或智能助手的团队终于有了一个能同时处理流式对话、环境音和实时指令的统一模型,比拼凑多个专用模型高效太多,做音频 AI 的建议点开看看框架和数据集。