AITOP

自监督学习

共 23 条相关 AI 资讯
8月19日
11:39
11:39官方账号arXiv cs.LG@Nour Shaheen, Junwei Ma, Alex Labach, Frank Hutter, Valentin Thomas, Anthony L. Caterini
研究显示，表格基础模型(TFMs)通过单表格自监督预训练即可实现强迁移能力。表格的有用性取决于特征数量而非实例数量，且与下游任务无关。列级预处理能持续提升下游性能，而数据集级别的过滤或去重则无改善。研究认为TFMs的泛化主要基于检索机制，模型需学会识别相关示例并进行有效聚合。
论文表格基础模型自监督学习迁移学习
推荐理由：这篇论文揭示了表格基础模型如何通过单表格预训练实现强迁移，颠覆了传统大规模数据训练的认知。
原文
8月6日
09:25
09:25官方账号arXiv cs.LG@Xuehang Guo, Pengyuan Li, Tom Hope, Tirthankar Ghosal, Manling Li, Qingyun Wang
CoCoEvolve是一种新的自监督学习方法，用于提升图表图像、表格数据和可视化代码之间的跨表示一致性。该方法将跨表示映射定义为显式的一对一对应关系，通过表示间的一致性优化模型，无需额外标注。训练时CoCoEvolve@Train在图表-表格-代码循环中进行协同进化，测试时CoCoEvolve@Test在推理阶段应用相同的一致性目标。CoCoEvolve@Eval评估套件覆盖全部六种跨表示任务，在四个基准上同时提升了训练期和测试期性能。
论文CoCoEvolve自监督学习跨表示学习
推荐理由：这篇论文提出CoCoEvolve，不用人工标注就能让模型对齐图表、表格和代码，四个基准上都有提升，做多模态可视化数据的人可以看看。
原文
7月23日
11:33
11:33官方账号arXiv cs.AI@Soroosh Tayebi Arasteh, Sebastian Ziegelmayer, Mahshad Lotfinia, Lisa Adams, Sven Nebelung, Jakob Nikolas Kather, Daniel Truhn
该论文研究了医学影像基础模型表征收敛的原因。通过对比18个图像编码器和7个文本编码器（参数从7M到27B，涵盖五种成像模态，使用650,982张胸片），发现自监督目标的收敛度（40.4%）远高于标签监督（21.1%）和图像-文本（3.3%）。收敛度随模型规模增长不显著（Spearman 0.302，p=0.223）。线性分类器跨编码器转移后仍保留约85%的原始性能。结论是自监督目标而非临床监督驱动了表征收敛。
论文医学影像自监督学习表征学习
推荐理由：这篇论文用大量数据和对照实验拆解了医学基础模型表征收敛的真正原因，发现关键不是临床标签而是自监督目标，对训练和评估模型很有启发。
原文
7月21日
09:59
7月16日
11:35
11:35官方账号arXiv cs.LG@Ximeng Mao, Nanda H. Krishna, Avery Hee-Woon Ryoo, Matthew G. Perich, Guillaume Lajoie
MOJO（Masked autOencoder-based JOint training）是一个结合自监督掩码自编码与监督学习的训练框架，用于尖峰令牌化模型。在猴子运动皮层、小鼠视觉决策等多区域数据集上，MOJO超越纯监督模型，尤其在少样本微调时性能提升显著。该框架还泛化到人类ECoG语音数据，达到专用神经基础模型水平。
论文MOJO自监督学习神经解码
推荐理由：MOJO让神经解码模型也能用大量无标签数据，比纯监督学习更强，尤其数据少时效果拔群。
原文
7月3日
12:06
11:58
7月2日
12:16
12:16官方账号arXiv cs.LG@Siwon Kim
本文提出Event Reconstruction Joint-Embedding Predictive Architecture (ER-JEPA)，一种用于多变量时间序列的轻量级自监督学习框架。其两阶段层次结构受心脏病专家诊断方法启发，先构建每个时间间隔的表示，再将表示作为单变量时间序列处理，层次整合两个JEPA和Vision Transformer (ViT) 骨干。在约18万条10秒12导联ECG数据上预训练后，模型在ST-MEM基准上达到下游任务SOTA，且计算快速、资源占用极低。
论文ER-JEPAH-JEPAViT
推荐理由：想用少量标注数据做心电图分析？这篇论文提出的ER-JEPA用18万条无标注ECG预训练，在ST-MEM基准上跑出SOTA，计算量还比同类方法小。
原文
09:59
09:59官方账号arXiv cs.LG@Alexander Chemeris, Ming Jin, Randall Balestriero
LeNEPA（Latent Euclidean Next-Embedding Prediction Architecture）是一种新的自监督学习架构，采用无增强的下一潜在令牌预测目标，使用因果骨干和SIGReg正则化替代stop-gradient/EMA。在PTB-XL和Diag数据集上，LeNEPA在固定水平冻结探头协议下表现优于ECG-tuned JEPA，后者在跨域时性能下降。LeNEPA在2-5k次更新后达到80%的最终AUROC/AUPRC增益，而JEPA需要5-10k次。在UCR-128基准上，CauKer预训练的LeNEPA变体达到77.65%的平均随机森林准确率，接近Mantis（77.89%）和MOMENT（77.89%）。
AI模型LeNEPAJEPA时间序列
推荐理由：想找一种不用数据增强的时间序列自监督方法？LeNEPA用下一个潜在预测取代传统对比学习，在跨数据集表现更稳，学习速度也快一倍。
原文
7月1日
10:38
10:38官方账号arXiv cs.AI@Ying Wang, Oumayma Bounou, Yann LeCun, Mengye Ren
AdaJEPA 是一种自适应潜在世界模型，在模型预测控制 (MPC) 闭环内执行测试时自适应。它利用观测到的下一状态转换作为自监督适应信号，无需额外专家演示即可持续校准世界模型。在多个目标达成任务中，AdaJEPA 仅需每个 MPC 重规划步一次梯度更新即可显著提升规划成功率。
论文AdaJEPAMPC潜在世界模型
推荐理由：这篇论文提出 AdaJEPA，能让世界模型在测试时自动适应，一次梯度步就大幅提升规划成功率，解决分布偏移问题。
原文
6月28日
12:20
6月26日
11:01
6月12日
10:14
10:14官方账号arXiv cs.AI@King Yeung Tsang, Zihao Zhao, Vishal Venkataramani, Haizhou Shi, Zixuan Ke, Semih Yavuz, Shafiq Joty, Hao Wang
多智能体系统（MAS）依赖大语言模型（LLM）进行有效编排，但训练编排器面临监督信号稀缺和计算成本高的问题。本文提出OrchRM，一种自监督框架，通过多智能体执行过程中的中间产物构建胜负对，训练Bradley-Terry奖励模型，无需人工标注。相比依赖昂贵子智能体回滚的现有方法，OrchRM直接在编排层面操作，将训练效率提升10倍（以token使用量计），并将测试时扩展的准确率提升8%。该方法在数学推理、网页问答和多跳推理等多个领域均有效，代码已开源。
论文多智能体系统奖励建模编排优化
推荐理由：做多智能体系统编排的团队终于有了一个低成本、高回报的训练方案——OrchRM 省去了人工标注和子智能体回滚，直接提升 8% 准确率，建议做 MAS 的开发者试试这个开源框架。
原文
6月9日
10:38
10:38官方账号arXiv cs.AI@Jonathan F. Carter, Lionel Tarassenko
精选
该研究提出 Hypnos，一个多模态睡眠基础模型，使用来自 2 万多次夜间多导睡眠监测的 8 种传感模态（如 EEG、ECG、呼吸信号）训练。与现有使用掩码重建或对比学习的方法不同，Hypnos 采用下一词预测作为自监督目标，通过残差向量量化将每种模态离散化为 token 流，并用自回归 RQ-Transformer 并行预测所有模态的下一个 token。在睡眠阶段分类任务中，Hypnos 仅用 1% 的标注数据就达到了强监督基线的性能，还能泛化到日间生理信号，在检测房颤上超越专门的 ECG 基础模型。结果表明，下一词预测是多模态生理信号表征学习的有效且可扩展的自监督目标。
论文基础模型睡眠生理学多模态
推荐理由：睡眠医学和生理信号分析的研究者终于有了一个无需大量标注数据就能学到通用表征的基础模型——Hypnos 用下一词预测解决了多模态生理数据的学习难题，做睡眠分期或房颤检测的团队可以直接用它生成嵌入，大幅降低标注成本。
原文
6月8日
10:32
10:32官方账号arXiv cs.LG@Changkun Guan, El Mehdi Er Raqabi, Mathieu Tanneau, Pascal Van Hentenryck
精选
Benders分解是求解大规模混合整数优化问题的经典框架，但传统方法反复求解相似子问题，收敛慢。本文提出代理Benders分解（Proxy-BD），用自监督的预测-投影-补全机制生成对偶可行解，产生有效的Benders割，保证理论有效性。在大规模设施选址和网络设计问题上，Proxy-BD实现中位最优性差距低于0.5%，加速高达161倍，割数量减少240倍以上。该方法在子问题复杂度高时加速效果更显著，适合大规模分解场景。
论文Benders分解优化代理大规模优化
推荐理由：做大规模优化或运筹学的团队终于有了加速Benders分解的实用方案——Proxy-BD用代理模型替代重复求解，理论保证不变但速度提升百倍，处理2000x2000规模问题的可以直接试。
原文
6月4日
11:21
11:21官方账号arXiv cs.LG@Vasiliki Rizou, Pascal Frossard, Dorina Thanou
精选
多模态数据解耦表示学习能分离共享与独特特征，但现有方法局限于双模态场景。RePercENT 提出自监督框架，通过即插即用架构直接处理预提取嵌入，无需联合预训练，支持任意数量模态。该框架引入联合优化目标同时学习共享与独特成分，并提供理论最优性保证。实验表明，RePercENT 在多种模态和任务中成功恢复解耦成分，性能持平且计算复杂度显著降低。这为多模态AI系统（如自动驾驶、医疗诊断）提供了可扩展的基础方案。
论文多模态学习解耦表示学习自监督学习
推荐理由：多模态数据解耦是AI理解复杂场景的关键，但双模态瓶颈长期未解。做多模态学习、跨模态推理的团队可以直接用RePercENT的即插即用架构，无需重新训练基础模型，值得关注。
原文
10:41
10:41官方账号arXiv cs.AI@Elouan Gardès, Seung Eun Yi, Kartik Ahuja, Théo Moutakanni, Huy V. Vo, Piotr Bojanowski, Wolfgang M. Pernice, Loïc Landrieu, Camille Couprie
论文提出一种无标签方法 FINO，利用元数据（如拍摄条件、地理位置等）以自监督方式将通用视觉基础模型适配到专业科学领域。该方法结合自监督学习与灵活的元数据引导，能处理离散和连续元数据，保留有用信息并抑制噪声。在亚细胞荧光显微镜、地球观测、野生动物监测和医学影像等多个领域，FINO 超越了标准无监督域适应和全监督适应方法，甚至超过了高度专业化的领域特定模型。该方法无需任务标签进行骨干网络适配，仅需轻量级分类头进行监督，解决了科学领域标签稀缺和模型泛化性下降的问题。
论文视觉基础模型无监督域适应元数据
推荐理由：科学图像分析团队终于有了不用手动标注就能适配大模型的方法——FINO 用已有的元数据就能提升效果，做显微镜、卫星或医学影像的开发者可以直接试试。
原文
6月1日
10:18
10:18官方账号arXiv cs.LG@Ulrich Prestel, Stefan Andreas Baumann, Nick Stracke, Björn Ommer
精选
RayDer 提出了一种统一的、前馈式 Transformer 架构，将相机估计、场景重建和渲染整合到一个主干网络中，将自监督新视角合成（NVS）转化为一个定义良好的单模型缩放问题。通过引入最小动态状态作为干扰因素，它吸收了视频中的时变内容，从而能够在无约束的真实世界视频上稳定训练。RayDer 将静态场景 NVS 作为目标任务，动态内容仅作为可扩展的监督信号，而非像动态场景（4D）NVS 那样进行重建。实验表明，RayDer 在数据和计算量上表现出清晰的幂律缩放行为，并在多个基准测试中取得了与有监督方法相媲美的零样本开放集性能。
论文新视角合成自监督学习Transformer
推荐理由：RayDer 解决了自监督 NVS 难以规模化的问题，做 3D 视觉和场景重建的研究者可以关注其简洁的缩放规律和零样本能力，值得在真实视频数据上试试。
原文
10:13
10:13官方账号arXiv cs.LG@Kian Kenyon-Dean, Alina Selega, Ihab Bendidi, Jordan M. Sorokin, Luca Bertinetto, David Errington, Hayley Donnella, Oren Kraus
RNA测序数据在药物发现中有广泛应用，但现有转录组基础模型因技术噪声和批次效应表现不佳，甚至不如线性基线。研究者提出新自监督模型TxFM，采用掩码自编码方法处理多样RNA-seq计数数据，并通过消融实验确定关键架构配置。他们构建了公开训练语料DiverseRNA-1.4M，训练出的TxFM在基因表示上优于规模大100倍以上的图谱级模型。结果表明，结合精心设计的模型架构和训练数据，归纳式自监督学习是转录组表示学习的可行方法。
论文基因表达自监督学习掩码自编码
推荐理由：TxFM解决了转录组基础模型性能不佳的痛点，做药物发现和生物信息学的团队可以试试这个轻量级方案，效果优于大模型。
原文
5月29日
09:56
09:56rohanpaul_ai@rohanpaul_ai
精选
Yann LeCun 团队的新论文揭示了自监督模型 LeJEPA 何时能真正学到隐藏的世界变量。研究发现，只有当这些隐藏变量呈平衡的高斯分布时，LeJEPA 才能可靠地恢复它们。论文从数学上证明，当真实隐藏变量是独立高斯变量且配对视图来自稳定噪声过程时，LeJEPA 的最优解必然能恢复这些变量（至多相差一个旋转或翻转）。这为理解自监督 AI 模型何时是在学习世界结构、而非仅生成恰好有用的特征提供了理论依据。
论文自监督学习世界模型LeJEPA
推荐理由：这篇论文给自监督学习社区一个清晰的数学答案：什么条件下模型真的在学世界模型。做表征学习或世界模型研究的开发者，看完会对 LeJEPA 的能力边界有更硬核的理解。
原文
5月28日
11:27
11:27官方账号arXiv cs.AI@Abhilash Durgam, Nyle Siddiqui, Jeffrey A. Chan-Santiago, Qiushi Fu, Elakkat D. Gireesh, Mubarak Shah
精选
CaMBRAIN 是首个基于 Mamba 的因果状态空间模型，专为脑电图（EEG）信号实时推理设计。现有深度学习模型依赖注意力机制，序列长度增加时计算量呈二次增长，且需滑动窗口处理，无法理解全局信号。CaMBRAIN 利用因果状态空间模型保持线性复杂度，并引入多阶段自监督训练，增强长程记忆能力。在三个 EEG 数据集上，CaMBRAIN 达到最先进性能，吞吐量比现有模型高 10 倍以上，首次实现变长 EEG 信号的连续推理。
论文EEG状态空间模型Mamba
推荐理由：做脑机接口或神经信号处理的团队终于有了能实时处理长序列 EEG 的工具——CaMBRAIN 解决了注意力机制的计算瓶颈，吞吐量提升 10 倍，做实时监测或临床诊断的开发者可以直接用。
原文
5月27日
10:49
10:49官方账号arXiv cs.LG@Nithesh Chandher Karthikeyan, Jonas Unger, Gabriel Eilertsen
精选
本文提出一种基于预训练自监督模型表示的条件扩散模型，用于可控图像生成。传统方法依赖文本提示或语义图等条件机制，需要大量标注数据。该工作通过自监督表示作为条件，不仅提升了无条件图像生成的质量，还提供了一个可操控的表示空间。研究者通过识别变化方向探索该条件空间，展示了平滑性和解耦性等有前景的特性。这项工作为减少对标注数据的依赖、实现更灵活的图像生成控制提供了新思路。
论文扩散模型可控图像生成自监督学习
推荐理由：做图像生成和编辑的研究者可以关注——自监督表示条件化方法有望减少对标注数据的依赖，且提供更平滑、解耦的控制空间，值得深入探索。
原文
5月20日
11:28
11:28官方账号arXiv cs.LG@Robert Jenkinson Alvarez
精选
论文指出JEPA（联合嵌入预测架构）通常将单视图嵌入正则化为各向同性高斯分布，这隐含地引入了欧几里得对称性，但并非无害。当下游几何结构已知时，最优协方差应为哈密顿能量预算下的(c/d)H^{-1}，各向同性会导致可量化的性能损失。当下游几何未知时，任何固定边际目标都可能与某些结构严重不匹配。作者提出HamJEPA，将每个视图编码为相空间状态(q,p)，并用可学习的哈密顿跳蛙映射预测视图间转换，非各向同性尺度和谱底防止崩溃。在CIFAR-100上，HamJEPA在30轮时比SIGReg提升+4.89 kNN@20和+3.52线性探针点，80轮时提升+6.45 kNN@20和+10.64线性探针点。在ImageNet-100上，45轮时提升+4.82 kNN@20和+7.52线性探针点。
论文JEPA表示学习哈密顿几何
推荐理由：这篇论文戳破了JEPA中“各向同性正则化无害”的默认假设，做自监督表示学习的团队值得关注——它用哈密顿几何给出了更优的耦合方式，实验提升显著且理论扎实。
原文