精选理由
这篇用AMR动态融合音视频特征,缺失模态也能准确识别说话人。在POLY-SIM上平均99%准确率,比基线高32%,很实用。
提出自适应模态路由(AMR)模块,用于多模态多语言说话人识别。AMR使用W2V-BERT 2.0音频编码器和IResNet-18人脸编码器,通过可训练路由器动态分配模态权重。在POLY-SIM 2026评估集上,系统在4个协议上的平均准确率达99.07%,比FOP基线提升32.73%。具体成绩:英语多模态99.93%,乌尔都语多模态100.00%,英语仅音频97.50%,乌尔都语仅音频98.83%。
AI 翻译 · 中文
提出自适应模态路由(AMR)模块,用于多模态多语言说话人识别。AMR使用W2V-BERT 2.0音频编码器和IResNet-18人脸编码器,通过可训练路由器动态分配模态权重。在POLY-SIM 2026评估集上,系统在4个协议上的平均准确率达99.07%,比FOP基线提升32.73%。具体成绩:英语多模态99.93%,乌尔都语多模态100.00%,英语仅音频97.50%,乌尔都语仅音频98.83%。
Multimodal speaker identification systems face two key challenges in real-world deployment: missing modalities and language mismatch between training and testing conditions. In practical scenarios, background multi-speak…