AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：Whisper×
6月16日
20:46
6月15日
11:12
6月12日
12:57
6月11日
15:28
15:23
15:07
6月3日
10:01
10:01arXiv: OpenAI@Nikhil Vincent
精选
CoughSense 是一个利用智能手机录音自动分类五种呼吸系统疾病（健康、COVID-19、哮喘、支气管炎、肺炎）的系统。它基于 OpenAI Whisper 编码器微调，并引入主动帧 QKV 注意力池化（Active-frame QKV attention pooling），解决了 Whisper 30秒输入窗口内短咳嗽信号被静音稀释的问题。系统还通过加权采样、数据增强、平衡混合、对比学习、症状条件化和域自适应等技术，处理了19:1的类别不平衡和跨数据集域偏移。在四个公开数据集共18,301条录音上，CoughSense（Whisper-tiny，8.6M参数）达到82.3%的平衡准确率，双编码器融合版本达到85.4%。主动帧池化是最大的单一贡献模块（提升5.1个点），对任何使用Whisper的短音频任务都有参考价值。
论文Whisper呼吸疾病分类咳嗽分析主动帧池化域自适应
推荐理由：做呼吸疾病音频诊断或短音频分类的团队，可以直接借鉴CoughSense的主动帧池化和域自适应方案，解决Whisper在短信号上的静音稀释痛点。
原文
6月1日
10:46
10:46arXiv cs.AI@Máté Gedeon, Piroska Zsófia Barta, Péter Mihajlik, Katalin Mády
精选
匈牙利语对话自动语音识别（ASR）因公开对话式训练数据有限而受限。BEA-Dialogue 语料库虽填补了空白，但其严格的说话人分离划分导致可用数据仅85小时。本文提出扩展版 BEA-Dialogue+，放宽划分标准，保留主要说话人完全分离，将可用数据增至200小时。研究评估了 Whisper 和 FastConformer 模型，发现更大语料库对未微调模型更具挑战性，而基于序列化输出训练（SOT）的微调在词错误率、字符错误率等指标上持续提升。该语料库为匈牙利语对话 ASR 提供了更大且更具挑战性的基准。
论文语音识别匈牙利语对话语料库ASRWhisper
推荐理由：匈牙利语 ASR 研究者终于有了更大规模的对话数据集——BEA-Dialogue+ 将可用训练数据从85小时扩展到200小时，做低资源语言语音识别的团队可以直接用于模型评估和微调。
原文
5月30日
18:29
18:29Qdrant@qdrant_engine
大多数车载媒体系统仍依赖关键词搜索，但驾驶时用户更倾向于用情绪、氛围和意图来寻找音乐。Sarvesh Talele 基于 Qdrant Edge 构建了一个完全本地化的 AI 媒体发现系统，支持语音、文本和情绪查询。该系统利用 Whisper 进行本地语音转录，通过向量嵌入实现语义检索，并使用 Qdrant Edge 在设备端完成向量搜索，无需依赖云端。这一项目展示了向量搜索如何在保护隐私的前提下，为车载场景提供实时、个性化的体验。
AI产品语义搜索车载系统Qdrant EdgeWhisper本地AI
推荐理由：车载媒体搜索终于从关键词进化到语义理解，做车载系统或本地 AI 应用的开发者可以直接参考这个架构，体验隐私优先的实时搜索。
原文
5月16日
21:04