JEPA 相关 AI 资讯

8月21日

10:08

官方账号arXiv cs.LG@Taoyong Cui, Pheng Ann Heng, Wanli Ouyang

精选

Meta AI 提出一种名为 Orthogonal JEPA 的新框架。该框架通过正交预测分解来学习潜在世界模型。它使用正交基矩阵将目标状态分解为多个组件，并为每个组件设置专用预测分支。实验在受控视觉、单细胞转录组学、纵向健康记录、连续控制和分子动力学等多个领域进行。

推荐理由：Meta AI 推出了 Orthogonal JEPA，它能把复杂系统拆分成多个部分来预测，比标准 JEPA 更高效。

原文

7月18日

00:42

Y Combinator@ycombinator

YC的Decoded播客讨论了AI与人类学习效率的差距：顶尖AI需要数万样本学习技能，而人类几次尝试就能掌握。节目深入介绍了世界模型（world models）的概念——让AI拥有环境的内部模拟，提到了AlphaGo在围棋中面临的行动空间问题、蒙特卡洛树搜索（MCTS）的原理，以及JEPA（联合嵌入预测架构）在自动驾驶和机器人领域中的应用。该播客还探讨了模型无关强化学习（Model-Free RL）与基于模型的强化学习（Model-Based RL）的差异，指出机器人学习是其中最困难的场景。

论文世界模型强化学习自动驾驶

推荐理由：这期播客聊了为什么AI学东西这么慢，重点介绍了‘世界模型’这个可能的解法，涉及AlphaGo、自动驾驶、机器人等具体案例，非常有料。

原文

7月4日

00:42

量子位@田, 晏林

上海交大与中科院团队提出Cell-JEPA模型，基于LeCun的JEPA架构，在单细胞RNA-seq数据集上预测基因表达动态。在10个基准数据集上对比传统VAE模型，平均预测误差降低23%。模型能推断基因调控网络，复现已知生物通路。相关工作已发布于bioRxiv预印本。

AI模型 Cell-JEPA JEPA 世界模型

推荐理由：中国团队把JEPA用在了细胞里，预测基因动态比之前准了23%，还能还原生物通路，有点意思。

原文

7月2日

09:59

官方账号arXiv cs.LG@Alexander Chemeris, Ming Jin, Randall Balestriero

LeNEPA（Latent Euclidean Next-Embedding Prediction Architecture）是一种新的自监督学习架构，采用无增强的下一潜在令牌预测目标，使用因果骨干和SIGReg正则化替代stop-gradient/EMA。在PTB-XL和Diag数据集上，LeNEPA在固定水平冻结探头协议下表现优于ECG-tuned JEPA，后者在跨域时性能下降。LeNEPA在2-5k次更新后达到80%的最终AUROC/AUPRC增益，而JEPA需要5-10k次。在UCR-128基准上，CauKer预训练的LeNEPA变体达到77.65%的平均随机森林准确率，接近Mantis（77.89%）和MOMENT（77.89%）。

AI模型 LeNEPA JEPA 时间序列

推荐理由：想找一种不用数据增强的时间序列自监督方法？LeNEPA用下一个潜在预测取代传统对比学习，在跨数据集表现更稳，学习速度也快一倍。

原文

6月28日

12:20

AK@_akhaliq

VISReg是一种新的正则化方法，专用于JEPA（联合嵌入预测架构）训练。它引入方差、不变性和素描三项正则化项。这些项旨在改善自监督学习中的表征质量。

论文 VISReg JEPA 自监督学习

推荐理由：有人发了VISReg，一种给JEPA训练用的新正则化技巧，通过方差、不变性和素描来提升表征质量。

原文

6月1日

10:12

官方账号arXiv cs.LG@Utsav Dutta, Gerardo Pastrana, Sina Khoshfetrat Pakazad, Henrik Ohlsson

CHARM是一种基于Transformer的通道感知表示模型，通过将通道级文本描述集成到编码器中，实现了对异构多变量时间序列的通用表示学习。该模型采用联合嵌入预测架构（JEPA）训练，并引入新损失函数以促进信息丰富且时间稳定的嵌入，在潜在空间预测中增强对传感器噪声的鲁棒性。在异常检测、分类和短期/长期预测任务中，仅使用线性探针即可达到强性能。性能提升主要归功于JEPA目标和条件架构，文本描述作为通道标识符支持跨数据集泛化。

论文时间序列多模态 JEPA

推荐理由：CHARM解决了多变量时间序列表示学习的通用性问题，做传感器数据分析、工业监控或金融时序预测的团队可以直接用线性探针获得强性能，值得关注其跨数据集泛化能力。

原文

5月21日

10:22

官方账号arXiv cs.LG@Nassim Ait Ali Braham, Aaron Banze, Conrad M. Albrecht, Julien Mairal, Jocelyn Chanussot, Xiao Xiang Zhu

精选

地球观测基础模型通常基于多光谱、SAR等多传感器数据训练，但高光谱影像（HSI）一直未被充分整合。SpectralEarth-FM 提出一种层次化Transformer架构，通过光谱标记化、传感器专用编码器和跨传感器融合模块，实现HSI与低通道观测数据的联合处理。研究团队构建了包含EnMAP、EMIT、DESIS等星载HSI数据与Sentinel-2、Landsat-8/9、Sentinel-1等数据的SpectralEarth-MM数据集，覆盖约200万个全球位置、2500万地理参考图块，数据量超40TB。模型采用JEPA风格预训练目标，在HSI下游任务和标准地球观测基准上均达到最先进水平。这项工作填补了高光谱与多模态遥感联合预训练的空白，为环境监测、农业、地质勘探等领域提供了更丰富的数据基础。

论文高光谱影像多模态预训练地球观测

推荐理由：高光谱数据终于不再被孤立——SpectralEarth-FM 让遥感团队能用上更全面的传感器信息，做土地覆盖分类或环境监测的开发者可以直接参考其开源架构和数据集。

原文

5月20日

11:28

官方账号arXiv cs.LG@Robert Jenkinson Alvarez

精选

论文指出JEPA（联合嵌入预测架构）通常将单视图嵌入正则化为各向同性高斯分布，这隐含地引入了欧几里得对称性，但并非无害。当下游几何结构已知时，最优协方差应为哈密顿能量预算下的(c/d)H^{-1}，各向同性会导致可量化的性能损失。当下游几何未知时，任何固定边际目标都可能与某些结构严重不匹配。作者提出HamJEPA，将每个视图编码为相空间状态(q,p)，并用可学习的哈密顿跳蛙映射预测视图间转换，非各向同性尺度和谱底防止崩溃。在CIFAR-100上，HamJEPA在30轮时比SIGReg提升+4.89 kNN@20和+3.52线性探针点，80轮时提升+6.45 kNN@20和+10.64线性探针点。在ImageNet-100上，45轮时提升+4.82 kNN@20和+7.52线性探针点。

论文 JEPA 表示学习哈密顿几何

推荐理由：这篇论文戳破了JEPA中“各向同性正则化无害”的默认假设，做自监督表示学习的团队值得关注——它用哈密顿几何给出了更优的耦合方式，实验提升显著且理论扎实。

原文

5月12日

19:11

官方账号arXiv cs.AI@Yixuan Yang, Mehak Arora, Ryan Zhang, Baraa Abed, Junseob Kim, Tilendra Choudhary, Md Hassanuzzaman, Kevin Zhu, Ayman Ali, Chengkun Yang, Alasdair Edward Gent, Victor Moas, Rishikesan Kamaleswaran

Clin-JEPA 提出了一种多阶段联合训练框架，将 JEPA（联合嵌入预测）范式扩展到电子健康记录（EHR）数据。该框架通过五阶段预训练课程（预测器预热、联合精调、EMA目标对齐、硬同步和预测器最终化），稳定地共同训练 Qwen3-8B 编码器和 92M 参数潜在轨迹预测器。在 MIMIC-IV ICU 数据上，Clin-JEPA 实现了潜在ℓ₁展开漂移在 48 小时范围内收敛（-15.7%），而基线方法发散（+3% 到 +4951%）。编码器学习到临床可分辨的潜在几何结构（病情恶化患者与稳定患者的潜在距离比基线高 4.83 倍 vs ≤2.62 倍）。单一骨干网络在多任务下游评估中优于强基线，平均 AUROC 在 ICareFM EEP 上达到 0.851，8 个二元风险任务上达到 0.883（分别比基线平均高 0.038 和 0.041）。

论文医疗AI 预训练模型 EHR

推荐理由：该工作首次将 JEPA 范式成功应用于 EHR 轨迹建模，解决了联合训练不稳定和表示坍缩的关键问题，为医疗领域预训练大模型提供了一种高效且无需任务微调的方案。

原文