AITOP

语音识别

共 39 条相关 AI 资讯
8月17日
16:05
16:05IT之家（博客/媒体）
阿里云推出Qwen-Audio-3.0系列语音模型，包含ASR、TTS、Realtime三款，已上线千问AI平台和阿里云百炼平台。该系列在Artificial Analysis今年7月的语音排行榜中，拿下语音识别、实时交互、语音合成三个赛道全球第一。Qwen-Audio-3.0-ASR支持复杂语境和专业领域识别，Qwen-Audio-3.0-TTS支持多语种多方言并可控制情绪语气节奏。Qwen-Audio-3.0-Realtime支持端到端语音理解与对话，可边听边说、随时打断追问，并支持工具调用。
AI模型Qwen-Audio-3.0阿里云千问
推荐理由：阿里自家的新语音模型，ASR、TTS、实时对话都拿了全球第一，现在API直接能用。做语音应用的话值得试试。
原文
8月4日
19:38
16:26
7月31日
19:02
19:02官方账号阿里通义 Qwen@Alibaba_Qwen
精选
阿里云推出ASR模型Qwen-Audio-3.0-ASR-Flash，主打上下文一致性和领域术语识别。内部测试中，医疗术语召回率达95.36%，工业术语召回率达93.24%。该模型支持自定义热词，并可将语音润色为结构化文本。同步提供流式与文件转写两个版本。
AI模型Qwen-Audio-3.0-ASR-Flash阿里云语音识别
事件专题
推荐理由：语音识别总听错专业词？试试这个新模型，医疗术语召回95.36%，还能自定义热词和输出结构化文本。
原文
13:16
13:04
7月29日
21:26
18:15
18:15小互@imxiaohu
83°
OpenAI 发布 gpt-transcribe 和 gpt-live-transcribe 两个语音转录模型。在真实世界录音基准上，gpt-transcribe 词错误率为 8.98%，相比 Whisper-1 的 15.21% 下降约一半。价格方面，gpt-transcribe 每分钟仅需 $0.0045，比 Whisper-1 的 $0.006 便宜 25%。
AI模型gpt-transcribegpt-live-transcribeWhisper-1
事件专题
推荐理由：OpenAI 这次发了两个转录模型，gpt-transcribe 在真实录音上词错误率只有 8.98%，比之前的 Whisper-1 好了一半，而且每分钟还便宜 25%，做语音转录的可以看看。
原文
07:06
07:06IT之家（博客/媒体）
OpenAI 推出 GPT-Live-Transcribe 和 GPT-Transcribe 两种转录模型，已开放 API 调用。GPT-Live-Transcribe 专为低延迟实时转录设计，费用每分钟 0.017 美元；GPT-Transcribe 用于异步转录，费用每分钟 0.0045 美元。在 Context Aware ASR 基准上，GPT-Transcribe 语义准确率从无上下文的 41.6% 提升至有上下文的 45.2%。在 Common Voice 22 种语言上，GPT-Transcribe 转录错误率为 19.27%，低于 Whisper（whisper-1）的 40.37%。在真实世界音频九种语言上，其转录错误率 8.98%，Whisper 为 15.21%。
AI模型OpenAIGPT-Live-TranscribeGPT-Transcribe
事件专题
推荐理由：OpenAI 出了两款转录模型，GPT-Live-Transcribe 实时转录延迟低，GPT-Transcribe 批量处理更便宜，错误率比 Whisper 低一半多。
原文
7月28日
00:26
7月25日
04:32
7月24日
02:04
7月22日
03:01
7月16日
12:03
7月15日
12:27
11:33
11:33官方账号arXiv cs.AI@Harsha Vardhan Khurdula, Abhinav Kumar Singh, Yoeven D Khemlani, Vineet Agarwal
本文提出用离散扩散语言模型DiffusionGemma（26B MoE）替代自回归解码器进行语音识别。方法冻结Whisper编码器提取声学特征，通过轻量投影器和低秩适配器将音频映射到模型空间，仅训练约42M参数（占0.16%）。研究发现自然训练目标梯度无法有效传递，引入连接主义时序分类（CTC）损失后成功训练。在LibriSpeech test-clean上达到6.6%词错误率，并行解码仅需8步且与语速无关，单适配器训练六种语言（评估了英语、印地语和普通话）。
论文DiffusionGemmaWhisperLibriSpeech
推荐理由：这个研究用DiffusionGemma做语音识别，并行解码8步就达到6.6%错误率，只训练了0.16%的参数，挺高效的。
原文
7月14日
11:46
11:46官方一手arXiv: OpenAI@Sheng Li, Jing Li, Felix Schijve, Jun Hu, Emilia Barakova
本文综述了自动语音识别（ASR）在机器人系统中的集成方法，涵盖在线API和本地模型两种方案。重点分析了从传统方法到OpenAI Whisper等深度学习模型的演变，并列举了LibriSpeech、Common Voice等大规模数据集以及Kaldi、ESPnet等开源工具包。系统梳理了基于ROS、云服务和混合架构的部署策略，以及Pepper、NAO等真实机器人平台的应用案例。最后探讨了在动态嘈杂环境中实现多模态交互的挑战，为社交机器人研究者提供了语言交互领域的导航。
论文WhisperROS语音识别
事件专题
推荐理由：这篇综述把机器人语音识别的在线API和本地模型方案都讲透了，尤其适合想用Whisper做离线识别的开发者，ROS集成部分很有实操参考。
原文
7月8日
02:09
02:09官方账号Decoder@Matthias Bastian
Cohere发布了开源模型Transcribe Arabic，拥有20亿参数，专为阿拉伯语方言、代码切换和阿拉伯语-英语双语语音识别优化。该模型在多项测试中性能超过Whisper和OmniASR。模型已上传至Hugging Face，采用Apache 2.0许可证。
AI模型CohereTranscribe ArabicWhisper
推荐理由：Cohere搞了个阿拉伯语语音模型，20亿参数，专门对付方言和双语，据说比Whisper还牛，搞语音识别的快试试。
原文
7月7日
10:07
7月6日
14:43
7月3日
11:32
7月2日
02:45
02:45官方账号xAI@xai
xAI发布了Voice Agent Builder，专为Grok Voice设计。传统语音系统需拼接语音转文本、语言模型及文本转语音三个API，每步切换增加成本、延迟与故障点。Voice Agent Builder将三个阶段紧密耦合至单一模型，减少跳转开销。该工具旨在优化实时语音交互体验。
AI产品Grok VoiceVoice Agent BuilderxAI
推荐理由：xAI把语音转文字、大模型、文字转语音三个环节整合到一个接口里，延迟更低、故障更少，用Grok Voice搞语音交互的可以试试。
原文
6月30日
01:01
6月29日
17:55
13:51
13:51官方账号Together AI@togethercompute
Together AI 构建了基于 Parakeet 的语音转文本堆栈，每秒可处理约 302 秒音频，这是 Artificial Analysis 报告中最高速度因子。该堆栈在 Together 平台上运行，通过系统级优化实现低延迟转录。文章由 @FeelTheBeurn 详细拆解了背后的工程工作。
AI模型ParakeetTogether AI语音识别
推荐理由：Together AI 把 Parakeet 优化到每秒转写 302 秒音频，比别的服务快一大截，想搞语音识别的可以看看这篇系统调优拆解。
原文
6月16日
02:02
02:02Jerry Liu@jerryjliu0
Karan Goel 团队发布 Sonic-3.5（文本转语音）和 Ink-2（语音转文本）两种流式模型。新架构实现了速度和质量的突破，将两者推向各自类别的榜首。该团队自称是目前唯一同时拥有排名第一的语音输入和输出模型的提供商。
AI模型Sonic-3.5Ink-2语音识别
推荐理由：Karan Goel 发了两个新模型，Sonic-3.5 做 TTS 排名第一，Ink-2 做 STT 也是第一，说是唯一一家听说都做到顶的。做语音智能体的话看看。
原文
6月12日
13:55
13:55官方账号arXiv cs.AI@Xinxin Li, Huiyao Chen, Meishan Zhang, Yunxin Li, Zulong Chen, Zhibo Ren, Xiaoqing Dong Baotian Hu, Min Zhang
传统ASR纠错仅关注孤立语句或短上下文，但在长文本与语音交错的对话中，需要对话级上下文证据。现有方法依赖当前假设或拼接原始对话历史，难以在冗余噪声中定位稀疏纠错证据。本文提出本体记忆增强的ASR纠错框架，将交互历史组织为动态更新的本体记忆，存储实体、术语、表面变体、潜在ASR混淆及语义关系作为可检索节点。基于MAGIC-RAMC构建的RAMC-Corr数据集实验显示，该方法在10个配对骨干设置组合中9个优于直接纠错，促进更选择性、基于证据的上下文相关ASR错误纠正。
论文ASR纠错本体记忆长对话
推荐理由：做语音识别或对话系统的团队，这个框架解决了长对话中ASR纠错缺乏上下文的问题，直接提升纠错准确率，值得在长交互场景中尝试。
原文
13:08
13:08官方账号Guillaume Lample (Mistral)@GuillaumeLample
Mistral 发布了 Voxtral 2，包含两个新模型：Voxtral Realtime（实时转录，延迟可低于 200 毫秒，Apache 2 许可）和 Voxtral Mini Transcribe 2（支持说话人分离、词级时间戳和上下文偏置）。该模型支持 13 种语言，通过 Mistral API 提供，是市场上性价比最高的转录 API 之一。
AI模型MistralVoxtral 2语音识别
推荐理由：做语音转录或实时字幕的开发者终于有了一个开源且低延迟的选择——Voxtral Realtime 的 Apache 2 许可和 sub-200ms 延迟值得一试。
原文
6月8日
17:03
17:03官方一手marktechpost@Asif Razzaq
精选
微软 AI 发布了其自研语音转文字模型 MAI-Transcribe-1.5，这是该系列的第二代。该模型支持 43 种语言，在 Artificial Analysis 排行榜上词错误率低至 2.4%，在 FLEURS 基准测试中达到最佳精度。它引入了关键词（实体）偏置功能，可针对特定领域术语提升识别准确率。长音频转录速度提升高达 5 倍，1 小时音频可在 15 秒内完成转录。该模型已在 Azure AI Foundry 中正式可用。
AI模型语音识别微软MAI-Transcribe-1.5
推荐理由：语音转文字场景的开发者终于有了微软官方的强力选项——MAI-Transcribe-1.5 在精度和速度上双双突破，做会议转录、客服质检或多语言内容处理的团队可以直接在 Azure 上试用，省去自建模型的麻烦。
原文
6月6日
15:55
6月5日
21:46
21:46官方账号Together AI@togethercompute
Together AI 宣布在其平台上推出两款 NVIDIA Nemotron 模型：Nemotron 3 Ultra 专为高吞吐量的智能体工作负载设计，适合构建编码智能体和深度研究智能体；Nemotron 3.5 ASR 则专注于低延迟的多语言语音识别，适用于实时语音系统。这为 AI 原生开发者提供了在 AI Native Cloud 上构建复杂应用的新选择，降低了部署门槛。
AI产品NVIDIA NemotronTogether AI智能体
事件专题
推荐理由：做智能体或语音应用的开发者现在有了更专业的模型选择——Nemotron 3 Ultra 适合高并发任务，Nemotron 3.5 ASR 能直接用于多语言实时语音场景，值得在 Together AI 上试试。
原文
6月4日
22:32
22:32官方一手Hugging Face: Blog（博客/媒体）
NVIDIA 发布了 Nemotron 3.5 ASR 模型的微调指南，帮助开发者将通用语音识别模型适配到特定语言、专业领域或口音。该模型基于 Whisper 架构优化，支持低资源语言和噪声环境。指南提供了从数据准备、训练配置到部署的完整流程，并强调使用 LoRA 等高效微调方法降低计算成本。这对于需要高精度语音识别的垂直场景（如医疗、金融、客服）尤其有价值。
AI模型语音识别ASRNemotron
事件专题
推荐理由：NVIDIA 把 ASR 微调的门槛降下来了，做语音应用的团队（尤其是非英语场景或专业领域）可以直接参考这套流程，省去大量试错成本。
原文
6月3日
10:25
10:25官方账号arXiv cs.AI@Máté Gedeon, Péter Mihajlik
低资源语言和垂直领域的对话式语音识别受限于多说话人训练数据稀缺。研究者提出一种数据增强流水线：先由LLM生成带参与者元数据的场景级对话，再将说话人属性映射到TTS语音配置，最后组装成说话人感知的合成对话。在匈牙利语BEA-Dialogue基准上，仅用67小时真实对话加636小时合成数据训练的模型，性能超过用2700小时真实语音训练的零样本模型。该方法适用于任何语言，且LLM生成器选择和合成数据组成对效果影响显著。
论文语音识别数据增强低资源语言
推荐理由：低资源语言ASR团队终于有了可落地的数据增强方案——用LLM+TTS生成对话数据，效果堪比数倍真实数据。做多说话人语音识别的开发者值得一试，尤其适合匈牙利语等小语种场景。
原文
10:01
10:01官方一手arXiv: OpenAI@Muhammad Ali
精选
巴尔蒂语（Balti）是巴基斯坦吉尔吉特-巴尔蒂斯坦地区的一种藏语方言，此前没有任何公开的自动语音识别（ASR）资源。研究者构建了名为BaltiVoice的16.8小时朗读语音语料库，包含10060条经过验证的本地纳斯塔利克文字发音，数据源自Mozilla Common Voice录音。他们基于OpenAI Whisper-small模型进行微调，在538条验证集上实现了30.07%的词错误率（WER），而零样本基线高达182.18%。该语料库、微调模型及实时转录演示已公开发布在HuggingFace上，为低资源语言的语音技术发展提供了重要基础。
论文语音识别低资源语言Whisper微调
事件专题
推荐理由：这是首个为巴尔蒂语打造的ASR系统，解决了低资源语言语音识别的空白，做多语言语音技术或濒危语言保护的团队可以直接用这个开源模型和语料库。
原文
08:25
08:25OpenRouter@OpenRouterAI
OpenRouter 宣布上线微软三款新 AI 模型：MAI-Image-2.5（图像生成）、MAI-Transcribe-1.5（语音转文字）和 MAI-Voice-2（语音合成）。这些模型通过 OpenRouter 平台可直接调用，降低了开发者使用微软最新 AI 能力的门槛。此举意味着开发者无需单独申请 Azure 权限，即可在统一 API 下体验微软的多模态模型。对于需要图像生成、语音识别或语音合成的团队，这是一个便捷的新选择。
AI产品微软OpenRouter图像生成
事件专题
推荐理由：微软的多模态模型终于能在 OpenRouter 上直接调用了，做图像生成、语音转文字或语音合成的开发者可以省去 Azure 申请流程，直接上手试。
原文
6月1日
10:46
10:46官方账号arXiv cs.AI@Máté Gedeon, Piroska Zsófia Barta, Péter Mihajlik, Katalin Mády
精选
匈牙利语对话自动语音识别（ASR）因公开对话式训练数据有限而受限。BEA-Dialogue 语料库虽填补了空白，但其严格的说话人分离划分导致可用数据仅85小时。本文提出扩展版 BEA-Dialogue+，放宽划分标准，保留主要说话人完全分离，将可用数据增至200小时。研究评估了 Whisper 和 FastConformer 模型，发现更大语料库对未微调模型更具挑战性，而基于序列化输出训练（SOT）的微调在词错误率、字符错误率等指标上持续提升。该语料库为匈牙利语对话 ASR 提供了更大且更具挑战性的基准。
论文语音识别匈牙利语对话语料库
推荐理由：匈牙利语 ASR 研究者终于有了更大规模的对话数据集——BEA-Dialogue+ 将可用训练数据从85小时扩展到200小时，做低资源语言语音识别的团队可以直接用于模型评估和微调。
原文
5月22日
11:34
11:34官方账号arXiv cs.LG@Berk Hayta, Hannah Laus, Simon Mittermaier, Felix Krahmer
精选
证据深度学习（EDL）通过狄利克雷分布实现单次前向传播的不确定性估计，但其损失函数复杂，难以分析和实现。本文提出一种插件损失（plug-in loss），在狄利克雷均值处评估标准损失（如交叉熵），并证明在温和假设下近似误差随证据增长而衰减。该框架将标准 Softmax 分类器纳入不确定性估计，简化了实现。在 Google Speech Commands 数据集上，该方法在预测准确率和选择性预测性能上与经典 EDL 相当，且更易集成到现有训练流程。这是首次在语音识别任务中通过 EDL 获得覆盖-准确率权衡的实证分析。
论文不确定性估计证据深度学习Softmax
推荐理由：做不确定性估计的团队终于有了更简单的实现路径——用标准 Softmax 损失就能获得 EDL 效果，语音识别研究者可以直接替换现有训练流程试试。
原文
5月20日
06:11
5月12日
17:35