做呼吸疾病音频诊断或短音频分类的团队，可以直接借鉴CoughSense的主动帧池化和域自适应方案，解决Whisper在短信号上的静音稀释痛点。
CoughSense 是一个利用智能手机录音自动分类五种呼吸系统疾病（健康、COVID-19、哮喘、支气管炎、肺炎）的系统。它基于 OpenAI Whisper 编码器微调，并引入主动帧 QKV 注意力池化（Active-frame QKV attention pooling），解决了 Whisper 30秒输入窗口内短咳嗽信号被静音稀释的问题。系统还通过加权采样、数据增强、平衡混合、对比学习、症状条件化和域自适应等技术，处理了19:1的类别不平衡和跨数据集域偏移。在四个公开数据集共18,301条录音上，CoughSense（Whisper-tiny，8.6M参数）达到82.3%的平衡准确率，双编码器融合版本达到85.4%。主动帧池化是最大的单一贡献模块（提升5.1个点），对任何使用Whisper的短音频任务都有参考价值。
CoughSense 是一个利用智能手机录音自动分类五种呼吸系统疾病（健康、COVID-19、哮喘、支气管炎、肺炎）的系统。它基于 OpenAI Whisper 编码器微调，并引入主动帧 QKV 注意力池化（Active-frame QKV attention pooling），解决了 Whisper 30秒输入窗口内短咳嗽信号被静音稀释的问题。系统还通过加权采样、数据增强、平衡混合、对比学习、症状条件化和域自适应等技术，处理了19:1的类别不平衡和跨数据集域偏移。在四个公开数据集共18,301条录音上，CoughSense（Whisper-tiny，8.6M参数）达到82.3%的平衡准确率，双编码器融合版本达到85.4%。主动帧池化是最大的单一贡献模块（提升5.1个点），对任何使用Whisper的短音频任务都有参考价值。
Automated cough analysis offers a path to low-cost respiratory screening, but most existing work stops at binary COVID-19 detection. A practical tool needs to tell apart several respiratory conditions from one cough reco…
- AI Will06-01 09:39原文