JEPAs(Joint-Embedding Predictive Architectures,联合嵌入预测架构)是一类自监督学习方法,通过在潜在表示空间中预测目标而非重建像素来学习世界模型,由 Yann LeCun 等人提出,被视为通向更接近人类认知方式的机器学习路线之一。与生成式模型不同,JEPAs 不追求还原原始输入,而是让编码器捕捉输入之间的抽象关系与动态结构。近几个月,围绕 JEPAs 的研究正从图像预训练扩展到世界建模、医疗时序等多个方向。
JEPAs 近期进展
当前焦点与观察点
近期 JEPAs 研究呈现三个明显趋势。其一是几何结构成为核心议题:除高斯假设被挑战外,Hamiltonian 几何与辛预测、正交分解预测状态等工作都在重新设计潜在空间的结构先验,说明社区已意识到"学什么形状的表征"与"学表征"同等重要。其二是层级化与可扩展性:任务复杂度驱动的 ViT 编码器宽度与深度增长尝试让世界模型按需扩容,而分层世界模型则面向规划任务。
其三是可识别性与理论根基问题:受控世界模型的可识别性分析表明,研究者开始追问 JEPA 类方法学到的表征是否唯一、是否可靠,这关系到其在下游任务的稳定性。值得观察的是,JEPAs 与生成式路线的争论尚未定论,医疗等垂直领域的实证结果、潜在几何的理论刻画,以及能否支撑真正意义上的规划与推理,将是判断这条路线前景的关键节点。