№jepa·general
JEPA
别名
- 首次出现
- 2026-05-22
- 最近出现
- 2026-06-09
- 累计提及
- 9
§ 01综述
JEPA：从抽象表征到物理理解的扩展之路
JEPA（Joint Embedding Predictive Architecture）最初由Yann LeCun提出，旨在通过预测抽象表征空间中的未来状态而非原始像素，来学习更鲁棒的世界模型。近期，该框架在多个领域取得显著进展，特别是向视频因果理解、多模态融合及高光谱遥感等方向延伸。
视频物理直觉探测：一项研究通过分层探测分析验证了视频基础模型能否理解直观物理，发现JEPA类模型在运动边界和物体持久性等物理概念上表现出良好表征能力，但仍缺乏完整的因果推理（视频基础模型能否理解直觉物理？分层探测分析）。
多模态时间序列嵌入：CHARM框架将JEPA拓展至多模态时间序列，通过联合嵌入预测生成语义丰富的嵌入，显著提升了异常检测和聚类性能（CHARM：多模态JEPA为时间序列生成语义嵌入）。
高光谱遥感预训练：SpectralEarth-FM首次将JEPA用于多模态地球观测，融合高光谱与多光谱数据，为遥感分析提供了通用预训练范式（SpectralEarth-FM：高光谱影像首次融入多模态地球观测预训练）。
哈密顿几何改进：HamJEPA引入哈密顿力学原理优化JEPA表征学习，在物理模拟任务上获得更稳定且可解释的表示（HamJEPA：用哈密顿几何改进JEPA表示学习）。
医疗时序建模：Clin-JEPA针对电子健康记录（EHR）设计多阶段预训练框架，有效建模患者轨迹，展示了JEPA在医疗数据中的潜力（Clin-JEPA: 多阶段联合嵌入预测预训练框架用于EHR患者轨迹建模）。
当前焦点集中在如何进一步强化JEPA对物理世界因果结构的建模能力，以及如何高效整合多模态、多尺度数据。未来观察点包括：JEPA在复杂物理场景（如机器人交互）中的泛化表现，以及其与自监督学习其他范式的性能对比。