对比学习（Contrastive Learning）近期在多个方向出现新进展，超越了传统的表征学习范式。
- 主要进展
- 物理系统中的对比学习：PCPL（物理对比学习）提出利用物理系统自身的响应进行学习，无需反向传播。该方法通过对比系统在不同输入下的输出差异来更新参数，有望应用于光子计算等非可微硬件。 (PCPL：从物理系统自身响应中学习，无需反向传播)
- 对比分布匹配用于生成模型：对比分布匹配（Contrastive Distribution Matching）被引入离散扩散模型，作为一种摊销序贯蒙特卡洛方法。该方法通过对比生成样本与目标分布的差异，提升了离散数据（如文本）的采样质量。 (对比分布匹配：离散扩散中的摊销序贯蒙特卡洛方法)
- 对比神经元归因（CNA）：Nous Research 提出一种无需稀疏自编码器（SAE）训练或权重修改的稀疏MLP电路操控方法。CNA通过比较不同输入下神经元的激活差异，定位并干预特定功能电路，降低计算开销。 (Nous Research 发布 CNA ...)
当前焦点：对比学习正从表征学习扩展到更广泛的场景，如物理系统的训练、生成模型的采样改进以及神经网络的可解释性。这些工作强调通过对比差异来传递梯度或修改行为，摆脱了对传统反向传播或大规模预训练结构的依赖。
未来观察：CNA等方法的有效性与通用性值得关注，尤其是在大模型中能否推广。PCPL在硬件上的实际加速效果也需验证。