11:52官方账号arXiv cs.LG@Francisco Mena, Dino Ienco, Roberto Interdonato, Cassio F. Dantas, Simon Besnard该论文提出一种多模态协同学习框架,处理训练与推理时模态不固定的缺失问题,而非传统双模态融合。实验在两种多模态分类基准上,针对任意缺失模态(单模态缺失或仅剩一模态)测试。方法一在单模态缺失时更鲁棒,方法二在极缺失条件下表现更好。代码已开源在GitHub。论文多模态缺失模态协同学习推荐理由:这篇论文针对多模态分类中模态任意缺失的问题提出了两种具体方法,在单缺失和极缺失场景下各有优势,代码开源可复现。原文稍后读已读值得跟进有用关注 多模态
11:03官方账号arXiv cs.AI@Hui Wang, Tianyu Ren, Joseph Butler, Christopher Baker, Karen Rafferty, Simon McDade针对生物科学应用中多模态数据常部分缺失的问题,研究者提出Latent World Recovery (LWR)框架。LWR通过将不同模态的嵌入对齐到共享潜在空间,并仅融合实际可用的模态嵌入来构建统一表示,避免了传统缺失模态重构带来的误差传播。该方法无需固定模态集或显式插补缺失数据,在真实多组学基准上对癌症表型分类和生存预测等下游任务表现有效。论文多模态学习缺失模态潜在空间对齐推荐理由:做多模态学习或生物信息学研究的团队,LWR解决了缺失模态下的鲁棒表示学习痛点,直接利用可用模态避免误差累积,值得关注其实验结果。原文稍后读已读值得跟进有用关注 多模态学习