Beyond Word Error Rate：流式听写 ASR 的失败分类研究

arXiv 论文提出超越词错误率（WER）的 ASR 评估方法，将 106 条英文听写音频（含安静环境、开风扇、耳语三种条件）流式送入 11 个 ASR 系统，并把每个错误按识别、输出格式、语言处理、音频丢弃四个层级分类。结果显示 WER 相近的系统失败方式差异很大：Zoom Scribe 与 GPT-Live-Transcribe 在安静英语上的 WER 分别为 7.4% 和 7.3%，但耳语英语下急剧恶化到 34.7% 和 8.8%。 技术细节上，Zoom 与两个 AssemblyAI 模型在耳语音频中漏掉 26-28% 的词，即使关闭端点检测仍漏 21-26%，而其他七个系统漏词不超过 3%；在 107 位 EARS 说话人上验证，同样的四个系统耳语漏词 7-31%。语言处理方面，Gemini、Deepgram 与自托管 Whisper 在仅选英语时会丢弃 86-99% 双语录音中的非英语部分。另外，Whisper 前置 Silero 语音活动检测器后，耳语 WER 从 10.1% 升至 51.4%。 对开发者而言，该研究说明部署流式听写时不能只看 WER 排名，VAD 前置与端点检测策略对低音量语音的影响可能超过模型本身的选择。代码、录音、参考文本与全部转写已公开。