AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：JEPA×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月1日
10:12
10:12arXiv cs.LG@Utsav Dutta, Gerardo Pastrana, Sina Khoshfetrat Pakazad, Henrik Ohlsson
CHARM是一种基于Transformer的通道感知表示模型，通过将通道级文本描述集成到编码器中，实现了对异构多变量时间序列的通用表示学习。该模型采用联合嵌入预测架构（JEPA）训练，并引入新损失函数以促进信息丰富且时间稳定的嵌入，在潜在空间预测中增强对传感器噪声的鲁棒性。在异常检测、分类和短期/长期预测任务中，仅使用线性探针即可达到强性能。性能提升主要归功于JEPA目标和条件架构，文本描述作为通道标识符支持跨数据集泛化。
论文时间序列多模态JEPATransformer表示学习
推荐理由：CHARM解决了多变量时间序列表示学习的通用性问题，做传感器数据分析、工业监控或金融时序预测的团队可以直接用线性探针获得强性能，值得关注其跨数据集泛化能力。
原文
5月21日
10:22
10:22arXiv cs.LG@Nassim Ait Ali Braham, Aaron Banze, Conrad M. Albrecht, Julien Mairal, Jocelyn Chanussot, Xiao Xiang Zhu
精选
地球观测基础模型通常基于多光谱、SAR等多传感器数据训练，但高光谱影像（HSI）一直未被充分整合。SpectralEarth-FM 提出一种层次化Transformer架构，通过光谱标记化、传感器专用编码器和跨传感器融合模块，实现HSI与低通道观测数据的联合处理。研究团队构建了包含EnMAP、EMIT、DESIS等星载HSI数据与Sentinel-2、Landsat-8/9、Sentinel-1等数据的SpectralEarth-MM数据集，覆盖约200万个全球位置、2500万地理参考图块，数据量超40TB。模型采用JEPA风格预训练目标，在HSI下游任务和标准地球观测基准上均达到最先进水平。这项工作填补了高光谱与多模态遥感联合预训练的空白，为环境监测、农业、地质勘探等领域提供了更丰富的数据基础。
论文高光谱影像多模态预训练地球观测遥感基础模型JEPA
推荐理由：高光谱数据终于不再被孤立——SpectralEarth-FM 让遥感团队能用上更全面的传感器信息，做土地覆盖分类或环境监测的开发者可以直接参考其开源架构和数据集。
原文
5月20日
11:28
11:28arXiv cs.LG@Robert Jenkinson Alvarez
精选
论文指出JEPA（联合嵌入预测架构）通常将单视图嵌入正则化为各向同性高斯分布，这隐含地引入了欧几里得对称性，但并非无害。当下游几何结构已知时，最优协方差应为哈密顿能量预算下的(c/d)H^{-1}，各向同性会导致可量化的性能损失。当下游几何未知时，任何固定边际目标都可能与某些结构严重不匹配。作者提出HamJEPA，将每个视图编码为相空间状态(q,p)，并用可学习的哈密顿跳蛙映射预测视图间转换，非各向同性尺度和谱底防止崩溃。在CIFAR-100上，HamJEPA在30轮时比SIGReg提升+4.89 kNN@20和+3.52线性探针点，80轮时提升+6.45 kNN@20和+10.64线性探针点。在ImageNet-100上，45轮时提升+4.82 kNN@20和+7.52线性探针点。
论文JEPA表示学习哈密顿几何自监督学习各向同性
推荐理由：这篇论文戳破了JEPA中“各向同性正则化无害”的默认假设，做自监督表示学习的团队值得关注——它用哈密顿几何给出了更优的耦合方式，实验提升显著且理论扎实。
原文
5月12日
19:11
19:11arXiv cs.AI@Yixuan Yang, Mehak Arora, Ryan Zhang, Baraa Abed, Junseob Kim, Tilendra Choudhary, Md Hassanuzzaman, Kevin Zhu, Ayman Ali, Chengkun Yang, Alasdair Edward Gent, Victor Moas, Rishikesan Kamaleswaran
Clin-JEPA 提出了一种多阶段联合训练框架，将 JEPA（联合嵌入预测）范式扩展到电子健康记录（EHR）数据。该框架通过五阶段预训练课程（预测器预热、联合精调、EMA目标对齐、硬同步和预测器最终化），稳定地共同训练 Qwen3-8B 编码器和 92M 参数潜在轨迹预测器。在 MIMIC-IV ICU 数据上，Clin-JEPA 实现了潜在ℓ₁展开漂移在 48 小时范围内收敛（-15.7%），而基线方法发散（+3% 到 +4951%）。编码器学习到临床可分辨的潜在几何结构（病情恶化患者与稳定患者的潜在距离比基线高 4.83 倍 vs ≤2.62 倍）。单一骨干网络在多任务下游评估中优于强基线，平均 AUROC 在 ICareFM EEP 上达到 0.851，8 个二元风险任务上达到 0.883（分别比基线平均高 0.038 和 0.041）。
论文医疗AI预训练模型EHRJEPA时序预测
推荐理由：该工作首次将 JEPA 范式成功应用于 EHR 轨迹建模，解决了联合训练不稳定和表示坍缩的关键问题，为医疗领域预训练大模型提供了一种高效且无需任务微调的方案。
原文