AITOP

对比学习

共 16 条相关 AI 资讯
8月7日
10:05
8月4日
11:19
11:19官方账号arXiv cs.AI@Yuni Susanti, Moritz Schubotz
该研究探讨科学公式的语法与语义两种模态的对应关系，发现其原生表示空间虽存在潜在相关性，但可观察对应极弱。作者用图编码器表示语法结构、文本编码器表示语义信息，并通过对比学习构建共享空间。实验表明，学习到的对齐显著提升跨模态检索性能。
论文科学公式跨模态检索对比学习
推荐理由：这篇论文把科学公式的语法和语义分开建模再对齐，发现原生表示差异很大，但对比学习能救回来，做检索的可以看看。
原文
8月3日
09:33
09:33官方账号arXiv cs.LG@Carlos Rodriguez-Pardo, Massimo Tavoni
TerraNova 是一个面向人类世的地球与社会耦合基础模型，在 arXiv 2607.29527 发布。它用 1,024 条记录训练，其中 512 个格点化地球系统场和 512 个国家指标。跨模态 Transformer 融合位置、国家、时间和任务，两个对比目标分别对齐国家与境内坐标、预训练地理空间嵌入。TerraNova 在消费级硬件上数分钟内即可重构稀疏观测的密集场并适配未见变量。与专用地理空间编码器相比，TerraNova 还覆盖时间、海洋和不确定性维度。
论文TerraNova地球系统模型多模态
推荐理由：TerraNova把地球和社会数据一起训练，能几分钟适配新变量，比地理模型多覆盖海洋和不确定性。
原文
7月31日
11:38
7月29日
09:21
7月17日
09:25
09:25官方账号arXiv cs.LG@Sara Ketabi, Matthias W. Wagner, Cynthia Hawkins, Uri Tabori, Birgit Betina Ertl-Wagner, Farzad Khalvati
该论文提出MseaCL框架，在儿科3D脑部MRI和放射学报告的多模态对比学习中，通过语义相似性引导减少假阴性样本。传统对比学习将非配对样本视为负例，但医学影像中语义相似的样本常被误判为负例。MseaCL在儿科队列上训练，将报告语义相似度作为信号，下游任务中儿科脑肿瘤分子分类AUC提升至少22.6%。
论文MseaCL多模态对比学习
推荐理由：新论文用语义感知对比学习解决医学影像的假阴性问题，在脑肿瘤分类上AUC涨了22.6%，值得搞多模态医疗AI的人看看。
原文
7月13日
09:40
7月1日
10:55
10:55官方账号arXiv cs.LG@Max Whitton, Zecheng Wang, Puchen Liu, Quang Tuan Truong, Shengao Wang, Manaswi Yadamreddy, Oktay Ozel, Visista Jayanti, Saniya Sekhon, Hanna Samuel Tadesse, Lawrence Miao, Junjie Wang, Jiasen Lu, Chen Yu, Boqing Gong
该论文提出一种婴儿触摸事件的结构化编码系统，并构建了包含264k个两秒片段的触觉事件数据集。利用该数据集预训练的发展性模型揭示了触觉在婴儿视觉概念学习中的重要作用。研究量化了婴儿依赖触觉进行视觉学习的程度，为理解触觉在认知发展中的角色提供了依据。
论文触觉对比学习婴儿认知
推荐理由：这篇论文用264k个婴儿触觉片段做对比学习，发现触觉对视觉学习的贡献比想象中大，推荐给研究婴儿认知或对比学习的读者。
原文
6月18日
09:40
09:40官方账号arXiv cs.AI@Yafeng Wu, Huu Hiep Nguyen, Thin Nguyen, Hung Le
论文提出CADE框架，用于时间序列问答。该框架通过点式线性编码器和MLP投影器将每个时间步直接映射到LLM嵌入空间，避免分词瓶颈和固定窗格损失。引入单向监督对比损失对齐时间序列嵌入与冻结类名文本锚点。在Time-MQA基准上，CADE在六个TSQA任务中一致优于开源和闭源LLM基线。
论文CADE时间序列问答LLM
推荐理由：这篇论文提出CADE，解决了LLM处理时间序列时丢了数值信息的痛点，用直接时间步嵌入和对比对齐，在Time-MQA上比GPT-4还强。
原文
6月17日
09:42
09:42官方账号arXiv cs.AI@Ruixin Song, Md Mahbub Alam, Zahra Sadeghi, Amilcar Soares, José F. Rodrigues-Jr, Gabriel Spadon
MoCo-AIS提出一种基于 Momentum Contrast 的对比学习框架，用于学习船舶轨迹的嵌入表示。该框架在大型真实AIS数据集（包含多种航行行为与工况）上评估了多种主流深度学习模型。结果表明，MoCo-AIS在轨迹相似性学习任务上显著优于现有基线方法。同时，该框架为轨迹表示模型的评估提供了统一基准平台。
论文MoCo-AIS轨迹相似性对比学习
推荐理由：这篇论文给做轨迹相似性的人提供了一个现成的对比学习框架，用MoCo范式在真实AIS数据上测了多个模型，效果比基线好。
原文
6月16日
11:12
11:12官方账号arXiv cs.LG@Matteo Cartiglia, Sandro Kuppel, Wouter Botermans Wannes Peeters, Natan Biesmans, Liam Vandekerckhove, Eric Beamish, Koen Ongena, Wouter Renckens, Pol Van Dorpe, Sanjin Marion
该研究提出用对比编码器将随机单分子信号映射到可解释分子坐标，编码器仅基于物理模型模拟信号训练。编码器对结构参数敏感，对采集条件和构象不变，允许跨设备数据整合。单次编码完成分子识别，计算成本比对齐方法降低三个数量级。实验验证了混合物定量、稀有变异检测和实时信号采集。
论文纳米孔单分子传感对比学习
推荐理由：这篇论文用模拟信号训练编码器，把纳米孔信号转成可解释坐标，识别快了一千倍，实验也扎实。
原文
6月9日
11:44
11:44官方账号arXiv cs.LG@Suraj Biswas, Saurabh Gupta, Pritam Mukherjee
精选
研究发现，预训练的生物医学语言模型（如BioBERT、PubMedBERT）在跨领域概念对（如“皮质醇28 ug/dL”与“股市波动性”）上给出高达0.83的余弦相似度，而正确答案应接近零。这种虚假相关性在大型行为模型（LBM）中会导致错误的因果边，进而污染下游推理。研究者提出对比学习方案：第一轮对比训练将PubMedBERT的BIOSSES相关性从0.633提升至0.828，跨领域分离度从1.05倍提升至1.63倍；第二轮BODHI方法通过挖掘知识图谱中的硬负例，将分离度提升至2.30倍，判别差距提升至+0.392。在Intel Xeon 6737P上，OpenVINO将单查询延迟从1367毫秒降至10毫秒（133倍加速），每秒可处理555个句子。研究还发现FP16在该芯片上优于INT8，并解释了原因。
论文因果发现嵌入相似度对比学习
推荐理由：做因果推断或行为建模的团队会发现，嵌入相似度直接当因果用是危险的——这篇给出了可落地的对比学习方案，还附带了加速脚本，值得直接试。
原文
6月8日
09:16
09:16官方账号arXiv cs.AI@Eloy Geenjaar, Vince Calhoun, Scott Daly, Gouthaman KV, Lie Lu, Trisha Mittal, Daniel P. Darcy
该研究提出了一种利用多模态生理信号监督的PPG基础模型，无需高质量或现场类预训练数据，而是借助ICU数据集中的心电和呼吸信号来选择对比学习样本。模型在预训练时能保留并学习噪声PPG片段，从而提升推理时的鲁棒性。与现有最先进方法相比，该模型仅用1/3的受试者进行预训练，在15个下游任务中的14个上取得性能提升，包括日常活动和心率预测。结果表明，多模态监督能整合互补生理信息，增强PPG基础模型对消费级数据的泛化能力。
论文PPG基础模型多模态监督对比学习
推荐理由：做可穿戴健康监测或临床PPG分析的团队，可以关注这个用更少数据训练出更强鲁棒性的方法，直接提升在真实场景中的表现。
原文
6月4日
10:50
10:50官方账号arXiv cs.AI@Xiaoyang Jiang, Yanlai Yang, Kenneth A. Norman, Brenden Lake, Mengye Ren
精选
儿童从连续的自我中心经验流中学习词汇，而现有神经网络模型通常对数据进行数百轮随机打乱训练，与真实学习过程不符。研究者提出BabyCL框架，以单次时间顺序处理SAYCam数据集，结合流式视觉表示学习和图像-文本对比目标。BabyCL采用多阶段时间分割和双回放缓冲区，在匹配优化预算下，在SAYCam Labeled-S 4AFC基准上优于流式学习基线，显著缩小了与离线训练的差距。消融实验表明，其增益对时间分割窗口长度和回放缓冲区驱逐规则具有鲁棒性。这项工作表明，在更接近儿童实际体验的训练条件下，有意义的词-指代映射可以涌现。
论文持续学习多模态学习儿童认知
推荐理由：BabyCL解决了持续学习场景下多模态对齐的难题，做认知科学或持续学习的研究者可以直接参考其双回放缓冲区设计，值得关注。
原文
5月29日
00:33
00:33AK@_akhaliq
该研究提出了一种名为对比分布匹配（Contrastive Distribution Matching）的新方法，用于改进离散扩散模型中的摊销序贯蒙特卡洛（Amortized Sequential Monte Carlo）采样。该方法通过对比学习优化分布匹配，显著提升了离散扩散模型的采样效率和质量。实验表明，该方法在多个基准任务上优于现有技术，为离散扩散模型的实用化提供了新思路。
论文离散扩散对比学习序贯蒙特卡洛
推荐理由：离散扩散模型在文本、图结构等离散数据生成中至关重要，但采样效率一直是瓶颈。这篇论文提出的对比分布匹配方法直接解决了这个问题，做生成模型研究的开发者值得关注。
原文
5月28日
11:30
11:30官方账号arXiv cs.AI@Linas Nasvytis, Simon Jerome Han, Ben Prystawski, Satchel Grant, Noah D. Goodman, Judith E. Fan
精选72°
论文提出一种名为对比反思（CORE）的非参数学习算法，通过对比成功与失败的推理轨迹，生成简短的自然语言洞察（如策略和约束），从而快速提升模型推理能力。实验表明，CORE在四个推理任务上比参数方法（如GRPO）和非参数方法（如GEPA、情景RAG）收敛更快，仅需5个训练样本即可达到可比或更优的性能。该方法还显著节省上下文token，将学到的知识压缩为可解释的洞察，而非直接存储轨迹。研究指出，将推理成败对比蒸馏为抽象洞察，是比权重更新或提示优化更高效、更可解释的模型自我改进路径。
论文推理模型对比学习非参数方法
推荐理由：CORE用极少的样本和推理次数就能让模型快速变聪明，做推理优化或小样本学习的团队值得关注，尤其适合资源受限场景。
原文