多模态学习

多模态学习近期在理论框架、算法创新和应用拓展上均有显著进展。传统多模态学习依赖完整模态输入，但现实场景中常面临缺失模态问题。LWR框架提出一种新方法，通过轻量级权重重建技术，在不依赖生成模型的情况下有效处理缺失模态，提升了模型的鲁棒性（LWR框架：缺失模态下的多模态学习新方法）。同时，研究者从理论角度探索多模态学习的核心机制，提出“相图”概念，系统分析了“对齐”与“预测”两种范式在不同数据条件下的适用边界，为模型设计提供了指导（何时对齐、何时预测：多模态学习的相图）。在持续学习方面，BabyCL模拟儿童学习过程，利用自我中心视频进行持续多模态学习，缓解了灾难性遗忘问题，推动模型向更类人学习方式演进（BabyCL：通过儿童自我中心视频实现持续多模态学习）。此外，RePercENT框架突破了双模态限制，提出可扩展的解耦表示学习方法，支持任意数量模态的高效融合（RePercENT：突破双模态限制的可扩展解耦表示学习框架）。应用层面，多模态学习在逆向材料设计（生成模型与多模态学习在逆向材料设计中的综述）和双层材料性质预测（双层材料性质预测：多模态学习方法）中展现出潜力，通过整合实验数据与计算模拟，加速了新材料的发现过程。当前焦点在于如何设计更通用的多模态融合策略，以及如何实现从实验室研究到实际部署的跨模态泛化。未来观察点包括：多模态学习的理论基础是否能够统一不同范式，以及其在科学发现（如材料、生物）中的落地效果。