UL4M4:无监督学习解决多模态缺失问题的框架

Unsupervised Learning for Missing Modalities in Multimodal Learning

精选理由

这篇论文提出了UL4M4,一个能在半数以上模态缺失时仍保持高F1分数的无监督框架,特别适合实际中数据不全的多模态场景。

AI 摘要

论文提出UL4M4框架,通过无监督聚类和贪心插补处理多模态学习中任意缺失模态。该方法使用模态特定归一化和部分模态距离度量,在超过50%模态缺失时仍能在F1-Micro指标上首次稳定超过0.7。框架轻量级,可适配任意融合架构,性能显著优于现有基线。

AI 翻译 · 中文

论文提出UL4M4框架,通过无监督聚类和贪心插补处理多模态学习中任意缺失模态。该方法使用模态特定归一化和部分模态距离度量,在超过50%模态缺失时仍能在F1-Micro指标上首次稳定超过0.7。框架轻量级,可适配任意融合架构,性能显著优于现有基线。

arXiv cs.LGThis paper addresses the missing-modality challenge in multi-modal learning by introducing Unsupervised Learning for Missing Modalities in Multi-Modal Learning (UL4M4), a flexible framework that imputes missing feature e