AITOP

对比学习

共 9 条相关 AI 资讯
7月1日
10:55
10:55官方账号arXiv cs.LG@Max Whitton, Zecheng Wang, Puchen Liu, Quang Tuan Truong, Shengao Wang, Manaswi Yadamreddy, Oktay Ozel, Visista Jayanti, Saniya Sekhon, Hanna Samuel Tadesse, Lawrence Miao, Junjie Wang, Jiasen Lu, Chen Yu, Boqing Gong
该论文提出一种婴儿触摸事件的结构化编码系统，并构建了包含264k个两秒片段的触觉事件数据集。利用该数据集预训练的发展性模型揭示了触觉在婴儿视觉概念学习中的重要作用。研究量化了婴儿依赖触觉进行视觉学习的程度，为理解触觉在认知发展中的角色提供了依据。
论文触觉对比学习婴儿认知视觉学习数据集
推荐理由：这篇论文用264k个婴儿触觉片段做对比学习，发现触觉对视觉学习的贡献比想象中大，推荐给研究婴儿认知或对比学习的读者。
原文
6月18日
09:40
6月17日
09:42
6月16日
11:12
11:12官方账号arXiv cs.LG@Matteo Cartiglia, Sandro Kuppel, Wouter Botermans Wannes Peeters, Natan Biesmans, Liam Vandekerckhove, Eric Beamish, Koen Ongena, Wouter Renckens, Pol Van Dorpe, Sanjin Marion
该研究提出用对比编码器将随机单分子信号映射到可解释分子坐标，编码器仅基于物理模型模拟信号训练。编码器对结构参数敏感，对采集条件和构象不变，允许跨设备数据整合。单次编码完成分子识别，计算成本比对齐方法降低三个数量级。实验验证了混合物定量、稀有变异检测和实时信号采集。
论文纳米孔单分子传感对比学习编码器可解释性
推荐理由：这篇论文用模拟信号训练编码器，把纳米孔信号转成可解释坐标，识别快了一千倍，实验也扎实。
原文
6月9日
11:44
11:44官方账号arXiv cs.LG@Suraj Biswas, Saurabh Gupta, Pritam Mukherjee
精选
研究发现，预训练的生物医学语言模型（如BioBERT、PubMedBERT）在跨领域概念对（如“皮质醇28 ug/dL”与“股市波动性”）上给出高达0.83的余弦相似度，而正确答案应接近零。这种虚假相关性在大型行为模型（LBM）中会导致错误的因果边，进而污染下游推理。研究者提出对比学习方案：第一轮对比训练将PubMedBERT的BIOSSES相关性从0.633提升至0.828，跨领域分离度从1.05倍提升至1.63倍；第二轮BODHI方法通过挖掘知识图谱中的硬负例，将分离度提升至2.30倍，判别差距提升至+0.392。在Intel Xeon 6737P上，OpenVINO将单查询延迟从1367毫秒降至10毫秒（133倍加速），每秒可处理555个句子。研究还发现FP16在该芯片上优于INT8，并解释了原因。
论文因果发现嵌入相似度对比学习生物医学模型OpenVINO
推荐理由：做因果推断或行为建模的团队会发现，嵌入相似度直接当因果用是危险的——这篇给出了可落地的对比学习方案，还附带了加速脚本，值得直接试。
原文
6月8日
09:16
09:16官方账号arXiv cs.AI@Eloy Geenjaar, Vince Calhoun, Scott Daly, Gouthaman KV, Lie Lu, Trisha Mittal, Daniel P. Darcy
该研究提出了一种利用多模态生理信号监督的PPG基础模型，无需高质量或现场类预训练数据，而是借助ICU数据集中的心电和呼吸信号来选择对比学习样本。模型在预训练时能保留并学习噪声PPG片段，从而提升推理时的鲁棒性。与现有最先进方法相比，该模型仅用1/3的受试者进行预训练，在15个下游任务中的14个上取得性能提升，包括日常活动和心率预测。结果表明，多模态监督能整合互补生理信息，增强PPG基础模型对消费级数据的泛化能力。
论文PPG基础模型多模态监督对比学习鲁棒性可穿戴设备
推荐理由：做可穿戴健康监测或临床PPG分析的团队，可以关注这个用更少数据训练出更强鲁棒性的方法，直接提升在真实场景中的表现。
原文
6月4日
10:50
10:50官方账号arXiv cs.AI@Xiaoyang Jiang, Yanlai Yang, Kenneth A. Norman, Brenden Lake, Mengye Ren
精选
儿童从连续的自我中心经验流中学习词汇，而现有神经网络模型通常对数据进行数百轮随机打乱训练，与真实学习过程不符。研究者提出BabyCL框架，以单次时间顺序处理SAYCam数据集，结合流式视觉表示学习和图像-文本对比目标。BabyCL采用多阶段时间分割和双回放缓冲区，在匹配优化预算下，在SAYCam Labeled-S 4AFC基准上优于流式学习基线，显著缩小了与离线训练的差距。消融实验表明，其增益对时间分割窗口长度和回放缓冲区驱逐规则具有鲁棒性。这项工作表明，在更接近儿童实际体验的训练条件下，有意义的词-指代映射可以涌现。
论文持续学习多模态学习儿童认知对比学习SAYCam
推荐理由：BabyCL解决了持续学习场景下多模态对齐的难题，做认知科学或持续学习的研究者可以直接参考其双回放缓冲区设计，值得关注。
原文
5月29日
00:33
5月28日
11:30
11:30官方账号arXiv cs.AI@Linas Nasvytis, Simon Jerome Han, Ben Prystawski, Satchel Grant, Noah D. Goodman, Judith E. Fan
精选72°
论文提出一种名为对比反思（CORE）的非参数学习算法，通过对比成功与失败的推理轨迹，生成简短的自然语言洞察（如策略和约束），从而快速提升模型推理能力。实验表明，CORE在四个推理任务上比参数方法（如GRPO）和非参数方法（如GEPA、情景RAG）收敛更快，仅需5个训练样本即可达到可比或更优的性能。该方法还显著节省上下文token，将学到的知识压缩为可解释的洞察，而非直接存储轨迹。研究指出，将推理成败对比蒸馏为抽象洞察，是比权重更新或提示优化更高效、更可解释的模型自我改进路径。
论文推理模型对比学习非参数方法模型自我改进CORE
推荐理由：CORE用极少的样本和推理次数就能让模型快速变聪明，做推理优化或小样本学习的团队值得关注，尤其适合资源受限场景。
原文