10:01arXiv: OpenAI@Nikhil Vincent精选CoughSense 是一个利用智能手机录音自动分类五种呼吸系统疾病(健康、COVID-19、哮喘、支气管炎、肺炎)的系统。它基于 OpenAI Whisper 编码器微调,并引入主动帧 QKV 注意力池化(Active-frame QKV attention pooling),解决了 Whisper 30秒输入窗口内短咳嗽信号被静音稀释的问题。系统还通过加权采样、数据增强、平衡混合、对比学习、症状条件化和域自适应等技术,处理了19:1的类别不平衡和跨数据集域偏移。在四个公开数据集共18,301条录音上,CoughSense(Whisper-tiny,8.6M参数)达到82.3%的平衡准确率,双编码器融合版本达到85.4%。主动帧池化是最大的单一贡献模块(提升5.1个点),对任何使用Whisper的短音频任务都有参考价值。论文Whisper呼吸疾病分类咳嗽分析主动帧池化域自适应1 个信源在谈推荐理由:做呼吸疾病音频诊断或短音频分类的团队,可以直接借鉴CoughSense的主动帧池化和域自适应方案,解决Whisper在短信号上的静音稀释痛点。原文