ASR 相关 AI 资讯 · AI 热点

7月7日

11:23

11:23

官方账号arXiv cs.AI@Cheng-Kang Chou, Ming-To Chuang, Ke-Han Lu, Chan-Jan Hsu, Hung-yi Lee

论文研究自回归ASR系统在长非语音片段中产生的时间戳漂移问题，在15个含时间戳的ASR和音频语言系统上评估。提出的REDDIT框架通过回放分布编辑进行轻量级两阶段后训练，仅更新Whisper-tiny模型1.6%参数（34.9小时数据），将长间隔mIoU从38.7%提升至95.0%，混合间隔域外AAS从2752ms降至223ms，CV-en MER保持41.3%（普通微调为524.2%）。

论文 REDDIT ASR 时间戳漂移 Whisper-tiny 微调

推荐理由：想修正ASR时间戳不准又怕模型学坏？REDDIT只动1.6%参数就把长间隔mIoU从38.7%拉到95%，还能守住原性能。

10:07

10:07IT之家（博客/媒体）

精选73°

小米上线 MiMo-V2.5-ASR 全链路语音模型，作为听觉基座支持粤语、吴语、闽南语、四川话等中文方言识别。模型实现中英混转无需预设语种，在强噪音、远场拾音及多人交叉对话场景下达到业界领先水平。API按音频转写时长计费，国内 0.5 元/小时，海外 0.074 美元/小时。

AI模型 MiMo-V2.5-ASR 小米语音识别方言识别 ASR

推荐理由：小米新出的语音模型 MiMo-V2.5-ASR 能听方言、混中英文、扛噪音，每小时才五毛钱，适合做语音转录的朋友试试。

6月29日

17:55

17:55

Yangyi@Yangyixxxx

用户认为FunASR模型在大部分场景下可用，精度偶尔不足。建议套用LLM进行修复，可解决绝大多数问题。其被评价为中国版Whisper中性价比最高的方案。

AI模型 FunASR ASR 语音识别 LLM 开源模型

推荐理由：有实测用户说FunASR比Whisper更值，精度不够时加个LLM就能补上，做中文语音识别可以试试。

6月15日

11:12

11:12

官方账号arXiv cs.AI@Ravi Ranjan, Utkarsh Grover, Xiaomin Lin, Agoritsa Polyzou

Transformer ASR模型如Whisper预测难解释。LEAF-X框架结合熵引导注意力加权、多层注意力展开和因果消融，定位低熵高影响头与层，生成稀疏token-帧归因。相比扰动解释器或原始注意力图，LEAF-X更好反映模型计算，忠诚度提升32%，局部性/稀疏性增强35-39%，归因最稳定。

论文 Whisper LEAF-X 可解释性 Transformer ASR

推荐理由：Whisper解释性更好用了

6月10日

04:32

04:32官方一手Hugging Face: Blog（博客/媒体）

ServiceNow AI 发布了一项针对前沿自动语音识别（ASR）模型在代码切换语音上的基准测试。代码切换指说话者在同一句话中混合使用两种语言，这在多语言用户中很常见。测试发现，当前最先进的ASR模型在处理这种混合语言时表现不佳，错误率显著高于单语言场景。该研究强调了构建能理解双语用户的语音代理的挑战，并提供了公开基准供开发者评估和改进模型。这对于开发面向多语言市场的语音助手和客服系统至关重要。

论文语音代理 ASR 代码切换多语言基准测试

推荐理由：做语音助手或客服系统的团队会发现，当前ASR模型在双语用户面前漏洞百出——代码切换场景的错误率远高于单语言，这个基准测试直接暴露了痛点，建议点开看看你的模型能否过关。

6月4日

22:32

22:32官方一手Hugging Face: Blog（博客/媒体）

NVIDIA 发布了 Nemotron 3.5 ASR 模型的微调指南，帮助开发者将通用语音识别模型适配到特定语言、专业领域或口音。该模型基于 Whisper 架构优化，支持低资源语言和噪声环境。指南提供了从数据准备、训练配置到部署的完整流程，并强调使用 LoRA 等高效微调方法降低计算成本。这对于需要高精度语音识别的垂直场景（如医疗、金融、客服）尤其有价值。

AI模型语音识别 ASR Nemotron 微调 NVIDIA

推荐理由：NVIDIA 把 ASR 微调的门槛降下来了，做语音应用的团队（尤其是非英语场景或专业领域）可以直接参考这套流程，省去大量试错成本。

6月1日

10:46

10:46

官方账号arXiv cs.AI@Máté Gedeon, Piroska Zsófia Barta, Péter Mihajlik, Katalin Mády

精选

匈牙利语对话自动语音识别（ASR）因公开对话式训练数据有限而受限。BEA-Dialogue 语料库虽填补了空白，但其严格的说话人分离划分导致可用数据仅85小时。本文提出扩展版 BEA-Dialogue+，放宽划分标准，保留主要说话人完全分离，将可用数据增至200小时。研究评估了 Whisper 和 FastConformer 模型，发现更大语料库对未微调模型更具挑战性，而基于序列化输出训练（SOT）的微调在词错误率、字符错误率等指标上持续提升。该语料库为匈牙利语对话 ASR 提供了更大且更具挑战性的基准。

论文语音识别匈牙利语对话语料库 ASR Whisper

推荐理由：匈牙利语 ASR 研究者终于有了更大规模的对话数据集——BEA-Dialogue+ 将可用训练数据从85小时扩展到200小时，做低资源语言语音识别的团队可以直接用于模型评估和微调。

5月15日

09:25

09:25

berryxia@berryxia

牛津大学博士后、前Meta和Microsoft研究员Kevin Lin发布了开源视频翻译工具Violin。该工具将ASR、LLM翻译和TTS无缝集成，可自动完成语音识别、多语言翻译和自然语音合成。用户可个性化翻译风格，将学术报告转为通俗版本，还能直接与视频聊天提问。Violin支持Web应用、CLI和Agent Skill，完全MIT开源，旨在打破语言壁垒，让高质量内容全球化。

AI产品视频翻译开源/仓库 ASR LLM翻译 TTS

推荐理由：做内容、教育或跨语言传播的团队，这个工具能一键解决视频翻译痛点，还能直接和视频对话，建议立刻装起来试试。