AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：多模态预训练×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月29日
12:12
12:12arXiv cs.LG@Jusuk Lee, Seungjae Lee, Jonghun Shin, Hoseong Jung, Sungha Kim, Daesol Cho, H. Jin Kim, Jia-Bin Huang, Furong Huang
DynaFLIP 提出一种动力学感知的多模态预训练框架，通过构建图像-语言-3D 流三元组，将运动理解从下游策略上提到感知层。其核心创新是让三种模态在共享超球面空间中形成小单纯形体积，结合体积最小化、余弦正则化和对比学习目标，避免几何歧义和塌缩。实验表明，DynaFLIP 能聚焦于操作相关的控制区域，作为可复用的视觉骨干，在多种下游策略（包括 VLA）上持续超越基线，在分布外场景下性能提升达 22.5%。这项工作表明，训练视觉表征不仅编码静态内容，还编码动作下的世界变化，能显著提升机器人泛化能力。
论文机器人感知多模态预训练动力学感知视觉表征操作泛化
推荐理由：做机器人操作和感知的团队，DynaFLIP 把运动理解前移到预训练阶段，直接提升下游策略泛化性，分布外场景提升 22.5% 值得关注。
原文
5月21日
10:22
10:22arXiv cs.LG@Nassim Ait Ali Braham, Aaron Banze, Conrad M. Albrecht, Julien Mairal, Jocelyn Chanussot, Xiao Xiang Zhu
精选
地球观测基础模型通常基于多光谱、SAR等多传感器数据训练，但高光谱影像（HSI）一直未被充分整合。SpectralEarth-FM 提出一种层次化Transformer架构，通过光谱标记化、传感器专用编码器和跨传感器融合模块，实现HSI与低通道观测数据的联合处理。研究团队构建了包含EnMAP、EMIT、DESIS等星载HSI数据与Sentinel-2、Landsat-8/9、Sentinel-1等数据的SpectralEarth-MM数据集，覆盖约200万个全球位置、2500万地理参考图块，数据量超40TB。模型采用JEPA风格预训练目标，在HSI下游任务和标准地球观测基准上均达到最先进水平。这项工作填补了高光谱与多模态遥感联合预训练的空白，为环境监测、农业、地质勘探等领域提供了更丰富的数据基础。
论文高光谱影像多模态预训练地球观测遥感基础模型JEPA
推荐理由：高光谱数据终于不再被孤立——SpectralEarth-FM 让遥感团队能用上更全面的传感器信息，做土地覆盖分类或环境监测的开发者可以直接参考其开源架构和数据集。
原文