#多模态学习

共 10 条 · 7 天 0 条 · 30 天 1 条

SynCo 1 Trifeature 1 信息分解 1 对比学习 1 生物核正则化 1 生物邻域检索 1 空间生物学 1 组织学-转录组学邻域检索 1

信息流里打上「多模态学习」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月29日

论文 Agent 与开发者18:27

SynCo：通过对比交互残差学习跨模态协同

SynCo方法能直接解决多模态学习中协同信息训练不足的问题，可作为插件集成到现有框架中。

#SynCo #多模态学习 #对比学习 #信息分解

arXiv cs.LG@Yavuz Yarici, Ghassan AlRegib原文

8月26日

论文10:40

BioKERN：生物核正则化用于组织学-转录组学邻域检索

BioKERN结合了转录组相似性和空间邻近性，有效提升了生物邻域检索的准确性，值得研究空间生物学领域的专业人士关注。

#生物核正则化 #组织学-转录组学邻域检索 #空间生物学 #多模态学习

arXiv cs.LG@Seungik Cho, Betul Orcan-Ekmekci原文

7月8日

论文10:16

语言指导的嗅觉表征学习SCENT：用语义桥接视觉与气味

想用语言帮AI'闻'气味？这篇论文用VLM生成场景描述，在纽约气味数据集上检索效果最牛，还能拆解混合气味。

#SCENT #VLM #New York Smells #多模态学习

arXiv cs.LG@Eleftherios Tsonis 等 3 人原文

6月16日

论文10:22

UL4M4：无监督学习解决多模态缺失问题的框架

这篇论文提出了UL4M4，一个能在半数以上模态缺失时仍保持高F1分数的无监督框架，特别适合实际中数据不全的多模态场景。

#UL4M4 #多模态学习 #模态缺失 #无监督学习

arXiv cs.LG@Hassan Ismkhan, Hamid Bouchahcia原文

6月11日

论文11:03

LWR框架：缺失模态下的多模态学习新方法

做多模态学习或生物信息学研究的团队，LWR解决了缺失模态下的鲁棒表示学习痛点，直接利用可用模态避免误差累积，值得关注其实验结果。

#多模态学习 #缺失模态 #潜在空间对齐 #生物信息学

arXiv cs.AI@Hui Wang 等 6 人原文

6月10日

论文精选11:06

何时对齐、何时预测：多模态学习的相图

这篇论文为多模态学习实践者提供了诊断工具，做生物医学或天体物理等异构数据研究的团队，可以在训练前判断该用对齐还是预测，避免盲目调参浪费时间。建议点开看看相图如何帮你选对目标。

#多模态学习 #跨模态对齐 #跨模态预测 #相图

arXiv cs.LG@Ilay Kamai 等 5 人原文

6月4日

论文精选11:21

RePercENT：突破双模态限制的可扩展解耦表示学习框架

多模态数据解耦是AI理解复杂场景的关键，但双模态瓶颈长期未解。做多模态学习、跨模态推理的团队可以直接用RePercENT的即插即用架构，无需重新训练基础模型，值得关注。

#多模态学习 #解耦表示学习 #自监督学习 #即插即用架构

arXiv cs.LG@Vasiliki Rizou 等 3 人原文

论文精选10:50

BabyCL：通过儿童自我中心视频实现持续多模态学习

BabyCL解决了持续学习场景下多模态对齐的难题，做认知科学或持续学习的研究者可以直接参考其双回放缓冲区设计，值得关注。

#持续学习 #多模态学习 #儿童认知 #对比学习

arXiv cs.AI@Xiaoyang Jiang 等 5 人原文

6月2日

论文12:01

生成模型与多模态学习在逆向材料设计中的综述

这篇综述系统梳理了逆向材料设计中的生成模型与多模态学习，做材料科学或AI驱动的发现研究的团队可以快速了解当前方法、失败模式和评估实践，节省大量文献调研时间。

#生成模型 #多模态学习 #逆向材料设计 #晶体结构建模

arXiv cs.LG@Anand Babu 等 3 人原文

论文09:40

双层材料性质预测：多模态学习方法

做材料科学AI研究的团队值得关注——它解决了双层材料堆叠性质预测的空白，开源代码可以直接复现和扩展。

#材料科学 #多模态学习 #双层材料 #性质预测

arXiv cs.AI@An Vuong 等 4 人原文