AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：表示学习×
6月19日
11:47
11:47arXiv cs.LG@Wenhao Chi, Arkaprava Sinha, Dominick Reilly, Hieu Le, Srijan Das
UNIEGO提出分层多教师蒸馏框架，使用9个教师（覆盖自我/他人视角、RGB/深度/骨架模态和4个基础模型）来训练统一编码器。为解决异构教师的不兼容架构和特征几何冲突，框架引入代理模型将不同教师知识翻译到同质化的自我中心空间。第二阶段选择性代理蒸馏（SPD）为每个样本自适应选择正确且自信的代理子集，抑制错误信号。UNIEGO在三个自我中心视频基准（动作识别、视频检索、动作分割）上达到最先进性能。
AI模型UNIEGO自我中心视频知识蒸馏表示学习多模态
推荐理由：想用多视角多模态数据训练视频理解模型？UNIEGO用代理模型搞定异构教师蒸馏，在三个任务上刷新了纪录。
原文
6月16日
20:46
6月12日
12:57
00:13
6月11日
15:28
15:23
15:07
11:03
11:03arXiv cs.AI@Hui Wang, Tianyu Ren, Joseph Butler, Christopher Baker, Karen Rafferty, Simon McDade
针对生物科学应用中多模态数据常部分缺失的问题，研究者提出Latent World Recovery (LWR)框架。LWR通过将不同模态的嵌入对齐到共享潜在空间，并仅融合实际可用的模态嵌入来构建统一表示，避免了传统缺失模态重构带来的误差传播。该方法无需固定模态集或显式插补缺失数据，在真实多组学基准上对癌症表型分类和生存预测等下游任务表现有效。
论文多模态学习缺失模态潜在空间对齐生物信息学表示学习
推荐理由：做多模态学习或生物信息学研究的团队，LWR解决了缺失模态下的鲁棒表示学习痛点，直接利用可用模态避免误差累积，值得关注其实验结果。
原文
6月10日
11:06
11:06arXiv cs.LG@Ilay Kamai, Hugues Van Assel, Aviv Regev, Hagai B. Perets, Randall Balestriero
精选
该论文系统研究了多模态表示学习中两种主流范式——跨模态对齐（CA）和跨模态预测（CP）的适用条件。作者通过线性框架和信号加噪声模型，揭示了两种方法的互补失败模式：对齐在噪声相关性高时失效，预测则受源模态质量影响。他们提出了一个四区域相图（Both、CA only、CP only、Neither），并开发了数据驱动方法，帮助实践者在训练前判断应使用哪种目标。实验在合成数据、立体视觉、图像-文本对和真实天体物理数据上验证了该框架，包括跨模态训练反而有害的“Neither”区域。
论文多模态学习跨模态对齐跨模态预测相图表示学习
推荐理由：这篇论文为多模态学习实践者提供了诊断工具，做生物医学或天体物理等异构数据研究的团队，可以在训练前判断该用对齐还是预测，避免盲目调参浪费时间。建议点开看看相图如何帮你选对目标。
原文
6月1日
10:12
10:12arXiv cs.LG@Utsav Dutta, Gerardo Pastrana, Sina Khoshfetrat Pakazad, Henrik Ohlsson
CHARM是一种基于Transformer的通道感知表示模型，通过将通道级文本描述集成到编码器中，实现了对异构多变量时间序列的通用表示学习。该模型采用联合嵌入预测架构（JEPA）训练，并引入新损失函数以促进信息丰富且时间稳定的嵌入，在潜在空间预测中增强对传感器噪声的鲁棒性。在异常检测、分类和短期/长期预测任务中，仅使用线性探针即可达到强性能。性能提升主要归功于JEPA目标和条件架构，文本描述作为通道标识符支持跨数据集泛化。
论文时间序列多模态JEPATransformer表示学习
推荐理由：CHARM解决了多变量时间序列表示学习的通用性问题，做传感器数据分析、工业监控或金融时序预测的团队可以直接用线性探针获得强性能，值得关注其跨数据集泛化能力。
原文
5月30日
00:23
5月22日
10:59
10:59arXiv cs.AI@Vishal Rajput
精选
本文提出“匹配原则”，将鲁棒性、域适应、光度不变性、组合泛化、时间鲁棒性、对齐安全等看似独立的问题统一为同一个统计问题：估计部署干扰的协方差，然后沿着覆盖该协方差的矩阵正则化编码器雅可比矩阵。在线性高斯模型中，作者证明了闭式最优性（定理A），包括匹配范围内的立方根水填充；证明了二次雅可比惩罚需要范围覆盖（定理G）；并提供了七个条件一致性引理。作者引入轨迹偏差指数（TDI），一种无标签的嵌入敏感性探针。在从经典ML到Qwen2.5-7B的13个预注册实验中，12个通过了预测的匹配-各向同性-错误W顺序测试。在7B规模上，匹配风格PMH提高了选择性诚实性，并保持了风格TDI，而标准DPO则使其退化。
论文表示学习鲁棒性域适应正则化匹配原则
推荐理由：这篇论文把鲁棒性、域适应等一堆看似无关的问题统一成了一个统计框架，做表示学习或模型泛化的研究者可以直接用匹配原则指导正则化器设计，省去试错成本。
原文
5月20日
11:28
11:28arXiv cs.LG@Robert Jenkinson Alvarez
精选
论文指出JEPA（联合嵌入预测架构）通常将单视图嵌入正则化为各向同性高斯分布，这隐含地引入了欧几里得对称性，但并非无害。当下游几何结构已知时，最优协方差应为哈密顿能量预算下的(c/d)H^{-1}，各向同性会导致可量化的性能损失。当下游几何未知时，任何固定边际目标都可能与某些结构严重不匹配。作者提出HamJEPA，将每个视图编码为相空间状态(q,p)，并用可学习的哈密顿跳蛙映射预测视图间转换，非各向同性尺度和谱底防止崩溃。在CIFAR-100上，HamJEPA在30轮时比SIGReg提升+4.89 kNN@20和+3.52线性探针点，80轮时提升+6.45 kNN@20和+10.64线性探针点。在ImageNet-100上，45轮时提升+4.82 kNN@20和+7.52线性探针点。
论文JEPA表示学习哈密顿几何自监督学习各向同性
推荐理由：这篇论文戳破了JEPA中“各向同性正则化无害”的默认假设，做自监督表示学习的团队值得关注——它用哈密顿几何给出了更优的耦合方式，实验提升显著且理论扎实。
原文
5月18日
10:38
10:38arXiv cs.LG@Hazhir Aliahmadi, Irina Babayan, Greg van Anders
精选
变分自编码器（VAE）普遍存在后验坍塌问题，即潜在变量被忽略。本文提出熵自编码器（EAE），仅以重构损失为显式目标，通过自由能最小化的编码器集成隐式生成潜在变量的先验。EAE 能学习非高斯、多模态的潜在分布，从而缓解后验坍塌，生成多样且与数据一致的样本。在反应扩散过程、MNIST 和 CelebA 数据集上，EAE 分别捕捉了低维动力学、隐式类别区分和面部层次结构。该框架为生成模型提供了一种新的训练范式。
论文生成模型变分自编码器后验坍塌自由能最小化表示学习
推荐理由：VAE 的后验坍塌是生成模型老难题，EAE 用隐式先验巧妙绕开，做生成模型或表示学习的开发者值得一看。
原文