10:22arXiv cs.LG@Hassan Ismkhan, Hamid Bouchahcia论文提出UL4M4框架,通过无监督聚类和贪心插补处理多模态学习中任意缺失模态。该方法使用模态特定归一化和部分模态距离度量,在超过50%模态缺失时仍能在F1-Micro指标上首次稳定超过0.7。框架轻量级,可适配任意融合架构,性能显著优于现有基线。论文UL4M4多模态学习模态缺失无监督学习论文推荐理由:这篇论文提出了UL4M4,一个能在半数以上模态缺失时仍保持高F1分数的无监督框架,特别适合实际中数据不全的多模态场景。原文
11:03arXiv cs.AI@Hui Wang, Tianyu Ren, Joseph Butler, Christopher Baker, Karen Rafferty, Simon McDade针对生物科学应用中多模态数据常部分缺失的问题,研究者提出Latent World Recovery (LWR)框架。LWR通过将不同模态的嵌入对齐到共享潜在空间,并仅融合实际可用的模态嵌入来构建统一表示,避免了传统缺失模态重构带来的误差传播。该方法无需固定模态集或显式插补缺失数据,在真实多组学基准上对癌症表型分类和生存预测等下游任务表现有效。论文多模态学习缺失模态潜在空间对齐生物信息学表示学习推荐理由:做多模态学习或生物信息学研究的团队,LWR解决了缺失模态下的鲁棒表示学习痛点,直接利用可用模态避免误差累积,值得关注其实验结果。原文
11:06arXiv cs.LG@Ilay Kamai, Hugues Van Assel, Aviv Regev, Hagai B. Perets, Randall Balestriero精选该论文系统研究了多模态表示学习中两种主流范式——跨模态对齐(CA)和跨模态预测(CP)的适用条件。作者通过线性框架和信号加噪声模型,揭示了两种方法的互补失败模式:对齐在噪声相关性高时失效,预测则受源模态质量影响。他们提出了一个四区域相图(Both、CA only、CP only、Neither),并开发了数据驱动方法,帮助实践者在训练前判断应使用哪种目标。实验在合成数据、立体视觉、图像-文本对和真实天体物理数据上验证了该框架,包括跨模态训练反而有害的“Neither”区域。论文多模态学习跨模态对齐跨模态预测相图表示学习推荐理由:这篇论文为多模态学习实践者提供了诊断工具,做生物医学或天体物理等异构数据研究的团队,可以在训练前判断该用对齐还是预测,避免盲目调参浪费时间。建议点开看看相图如何帮你选对目标。原文
11:21arXiv cs.LG@Vasiliki Rizou, Pascal Frossard, Dorina Thanou精选多模态数据解耦表示学习能分离共享与独特特征,但现有方法局限于双模态场景。RePercENT 提出自监督框架,通过即插即用架构直接处理预提取嵌入,无需联合预训练,支持任意数量模态。该框架引入联合优化目标同时学习共享与独特成分,并提供理论最优性保证。实验表明,RePercENT 在多种模态和任务中成功恢复解耦成分,性能持平且计算复杂度显著降低。这为多模态AI系统(如自动驾驶、医疗诊断)提供了可扩展的基础方案。论文多模态学习解耦表示学习自监督学习即插即用架构可扩展性推荐理由:多模态数据解耦是AI理解复杂场景的关键,但双模态瓶颈长期未解。做多模态学习、跨模态推理的团队可以直接用RePercENT的即插即用架构,无需重新训练基础模型,值得关注。原文
10:50arXiv cs.AI@Xiaoyang Jiang, Yanlai Yang, Kenneth A. Norman, Brenden Lake, Mengye Ren精选儿童从连续的自我中心经验流中学习词汇,而现有神经网络模型通常对数据进行数百轮随机打乱训练,与真实学习过程不符。研究者提出BabyCL框架,以单次时间顺序处理SAYCam数据集,结合流式视觉表示学习和图像-文本对比目标。BabyCL采用多阶段时间分割和双回放缓冲区,在匹配优化预算下,在SAYCam Labeled-S 4AFC基准上优于流式学习基线,显著缩小了与离线训练的差距。消融实验表明,其增益对时间分割窗口长度和回放缓冲区驱逐规则具有鲁棒性。这项工作表明,在更接近儿童实际体验的训练条件下,有意义的词-指代映射可以涌现。论文持续学习多模态学习儿童认知对比学习SAYCam推荐理由:BabyCL解决了持续学习场景下多模态对齐的难题,做认知科学或持续学习的研究者可以直接参考其双回放缓冲区设计,值得关注。原文
12:01arXiv cs.LG@Anand Babu, Rogério Almeida Gouvêa, Gian-Marco Rignanese本文综述了生成模型、多模态学习和闭环工作流在逆向材料设计中的最新进展。逆向材料设计从正向预测转向在物理约束下直接提出满足目标的候选材料。文章比较了变分自编码器、归一化流、自回归模型和扩散模型等主流生成模型,并讨论了如何通过表示选择、训练目标、采样时引导和后生成筛选来施加可行性约束。多模态学习融合晶体结构、热力学、电子信息、显微镜、光谱、加工背景和科学文本,构建更通用的化学空间表示。文章还分析了逆向设计策略,包括条件生成与潜在优化、贝叶斯优化、强化学习和主动学习,并指出了常见的失败模式如替代利用、多样性崩溃、分布偏移和稳定性-可合成性差距。论文生成模型多模态学习逆向材料设计晶体结构建模闭环工作流推荐理由:这篇综述系统梳理了逆向材料设计中的生成模型与多模态学习,做材料科学或AI驱动的发现研究的团队可以快速了解当前方法、失败模式和评估实践,节省大量文献调研时间。原文
09:40arXiv cs.AI@An Vuong, Minh-Hao Van, Chen Zhao, Xintao Wu该研究提出了一种多模态学习方法,用于预测堆叠双层二维材料的性质。双层材料堆叠是探索新型功能材料和固有现象的关键,但AI在此领域的应用尚不充分。该方法通过整合不同材料界面的多模态信息,预测垂直集成下的新性质。实验表明,该方法在效率和准确性上优于基线方法。代码已开源,可复现。论文材料科学多模态学习双层材料性质预测开源/仓库推荐理由:做材料科学AI研究的团队值得关注——它解决了双层材料堆叠性质预测的空白,开源代码可以直接复现和扩展。原文