AITOP

多模态学习

共 8 条相关 AI 资讯
7月8日
10:16
6月16日
10:22
10:22官方账号arXiv cs.LG@Hassan Ismkhan, Hamid Bouchahcia
论文提出UL4M4框架，通过无监督聚类和贪心插补处理多模态学习中任意缺失模态。该方法使用模态特定归一化和部分模态距离度量，在超过50%模态缺失时仍能在F1-Micro指标上首次稳定超过0.7。框架轻量级，可适配任意融合架构，性能显著优于现有基线。
论文UL4M4多模态学习模态缺失
推荐理由：这篇论文提出了UL4M4，一个能在半数以上模态缺失时仍保持高F1分数的无监督框架，特别适合实际中数据不全的多模态场景。
原文
6月11日
11:03
11:03官方账号arXiv cs.AI@Hui Wang, Tianyu Ren, Joseph Butler, Christopher Baker, Karen Rafferty, Simon McDade
针对生物科学应用中多模态数据常部分缺失的问题，研究者提出Latent World Recovery (LWR)框架。LWR通过将不同模态的嵌入对齐到共享潜在空间，并仅融合实际可用的模态嵌入来构建统一表示，避免了传统缺失模态重构带来的误差传播。该方法无需固定模态集或显式插补缺失数据，在真实多组学基准上对癌症表型分类和生存预测等下游任务表现有效。
论文多模态学习缺失模态潜在空间对齐
推荐理由：做多模态学习或生物信息学研究的团队，LWR解决了缺失模态下的鲁棒表示学习痛点，直接利用可用模态避免误差累积，值得关注其实验结果。
原文
6月10日
11:06
11:06官方账号arXiv cs.LG@Ilay Kamai, Hugues Van Assel, Aviv Regev, Hagai B. Perets, Randall Balestriero
精选
该论文系统研究了多模态表示学习中两种主流范式——跨模态对齐（CA）和跨模态预测（CP）的适用条件。作者通过线性框架和信号加噪声模型，揭示了两种方法的互补失败模式：对齐在噪声相关性高时失效，预测则受源模态质量影响。他们提出了一个四区域相图（Both、CA only、CP only、Neither），并开发了数据驱动方法，帮助实践者在训练前判断应使用哪种目标。实验在合成数据、立体视觉、图像-文本对和真实天体物理数据上验证了该框架，包括跨模态训练反而有害的“Neither”区域。
论文多模态学习跨模态对齐跨模态预测
推荐理由：这篇论文为多模态学习实践者提供了诊断工具，做生物医学或天体物理等异构数据研究的团队，可以在训练前判断该用对齐还是预测，避免盲目调参浪费时间。建议点开看看相图如何帮你选对目标。
原文
6月4日
11:21
11:21官方账号arXiv cs.LG@Vasiliki Rizou, Pascal Frossard, Dorina Thanou
精选
多模态数据解耦表示学习能分离共享与独特特征，但现有方法局限于双模态场景。RePercENT 提出自监督框架，通过即插即用架构直接处理预提取嵌入，无需联合预训练，支持任意数量模态。该框架引入联合优化目标同时学习共享与独特成分，并提供理论最优性保证。实验表明，RePercENT 在多种模态和任务中成功恢复解耦成分，性能持平且计算复杂度显著降低。这为多模态AI系统（如自动驾驶、医疗诊断）提供了可扩展的基础方案。
论文多模态学习解耦表示学习自监督学习
推荐理由：多模态数据解耦是AI理解复杂场景的关键，但双模态瓶颈长期未解。做多模态学习、跨模态推理的团队可以直接用RePercENT的即插即用架构，无需重新训练基础模型，值得关注。
原文
10:50
10:50官方账号arXiv cs.AI@Xiaoyang Jiang, Yanlai Yang, Kenneth A. Norman, Brenden Lake, Mengye Ren
精选
儿童从连续的自我中心经验流中学习词汇，而现有神经网络模型通常对数据进行数百轮随机打乱训练，与真实学习过程不符。研究者提出BabyCL框架，以单次时间顺序处理SAYCam数据集，结合流式视觉表示学习和图像-文本对比目标。BabyCL采用多阶段时间分割和双回放缓冲区，在匹配优化预算下，在SAYCam Labeled-S 4AFC基准上优于流式学习基线，显著缩小了与离线训练的差距。消融实验表明，其增益对时间分割窗口长度和回放缓冲区驱逐规则具有鲁棒性。这项工作表明，在更接近儿童实际体验的训练条件下，有意义的词-指代映射可以涌现。
论文持续学习多模态学习儿童认知
推荐理由：BabyCL解决了持续学习场景下多模态对齐的难题，做认知科学或持续学习的研究者可以直接参考其双回放缓冲区设计，值得关注。
原文
6月2日
12:01
12:01官方账号arXiv cs.LG@Anand Babu, Rogério Almeida Gouvêa, Gian-Marco Rignanese
本文综述了生成模型、多模态学习和闭环工作流在逆向材料设计中的最新进展。逆向材料设计从正向预测转向在物理约束下直接提出满足目标的候选材料。文章比较了变分自编码器、归一化流、自回归模型和扩散模型等主流生成模型，并讨论了如何通过表示选择、训练目标、采样时引导和后生成筛选来施加可行性约束。多模态学习融合晶体结构、热力学、电子信息、显微镜、光谱、加工背景和科学文本，构建更通用的化学空间表示。文章还分析了逆向设计策略，包括条件生成与潜在优化、贝叶斯优化、强化学习和主动学习，并指出了常见的失败模式如替代利用、多样性崩溃、分布偏移和稳定性-可合成性差距。
论文生成模型多模态学习逆向材料设计
推荐理由：这篇综述系统梳理了逆向材料设计中的生成模型与多模态学习，做材料科学或AI驱动的发现研究的团队可以快速了解当前方法、失败模式和评估实践，节省大量文献调研时间。
原文
09:40