8月6日
11:22
7月16日
11:35
11:35官方账号arXiv cs.LG@Ximeng Mao, Nanda H. Krishna, Avery Hee-Woon Ryoo, Matthew G. Perich, Guillaume Lajoie
MOJO(Masked autOencoder-based JOint training)是一个结合自监督掩码自编码与监督学习的训练框架,用于尖峰令牌化模型。在猴子运动皮层、小鼠视觉决策等多区域数据集上,MOJO超越纯监督模型,尤其在少样本微调时性能提升显著。该框架还泛化到人类ECoG语音数据,达到专用神经基础模型水平。
推荐理由:MOJO让神经解码模型也能用大量无标签数据,比纯监督学习更强,尤其数据少时效果拔群。
7月3日
12:01
12:01官方账号arXiv cs.LG@Zhuowei Chen, Liwei Chen, Christian Schunn, Raquel Coelho, Xiang Lorraine Li
NeuFS提出一种基于神经元激活模式的主动少样本学习框架,替代传统基于输出熵或语义相似性的样本选择方法。它在推理和文本分类两个任务共三个数据集上超越现有AFSL基线。消融实验证明内部神经元激活信号比外部嵌入在选择信号上更有效。该方法通过双标准策略兼顾样本多样性和模型易幻觉样本识别。
推荐理由:这篇论文把样本选择从看输出结果改成看神经元内部活动,比传统方法更精准,适合专门领域的少样本学习场景。
6月30日
11:01
11:01官方账号arXiv cs.LG@Naeem Paeedeh, Mahardhika Pratama, Wolfgang Mayer, Mukesh Prasad, Weiping Ding, Yew-Soon Ong
本文定义了少样本领域增量学习(FSDIL)问题,针对传统方法在数据极少时过拟合的痛点。提出持续视觉-语言整合(CVLC)算法,关键思想是在基领域预留隐空间和双融合投影(DCP)参数高效微调。通过LLM生成多模板和同义词校准视觉与语言原型并融合,再用DCP适应新领域。在多个基准上,CVLC相比此前方法提升最高达16%。代码已开源。
推荐理由:这篇论文提出了一个叫FSDIL的新问题和一个叫CVLC的算法,用双融合投影微调视觉语言模型,在少样本领域增量学习上比之前的方法好16%。
6月29日
6月24日
12:10
12:10官方账号arXiv cs.AI@Ahmad Pouramini, Hesham Faili
该论文提出MTO框架,在编码器-解码器预训练语言模型上匹配任务与预训练目标。将微调模板与目标对齐后,在少样本设置下性能提升超过120%,并超越相关研究。在全数据集场景中也优于基线。框架还扩展至提示调优,提供软提示工程与优化的指导。
推荐理由:这篇论文教你怎么给不同任务选对预训练目标,少样本下性能直接翻倍,比传统方法强一大截。
6月23日
6月16日
10:23
10:23官方账号arXiv cs.LG@Hyebin Cho, Jaehyuk Jang, Changick Kim, Joon Son Chung
提出在音频编码器中引入可训练提示(acoustic prompt)以捕获任务特定声学特征,与现有文本端提示学习结合,增强少样本适应能力。在11个数据集上的实验表明,该方法作为即插即用模块可普遍提升性能。显式调制音频表示空间有效补充纯文本提示方法。代码已开源。
推荐理由:这篇论文把提示学习从文本拓展到音频端,在11个数据集上验证了效果,代码已开源做少样本音频分类的可以看看。
5月26日
12:25
12:25官方账号arXiv cs.LG@Adina Scheinfeld, Haotan Zhang, Shang Mu, Rudolf L. M. van Herten, Lucas Stoffl, Ali Erturk, Zhuhao Wu, Johannes C. Paetzold
精选
该研究提出了一种针对光片荧光显微镜(LSM)的 3D 基础模型,通过在大规模多物种、多染色体的 3D 图像数据集上预训练,学习可迁移的体素表示。模型联合优化掩码重建和图像-文本对齐,显著降低了下游任务的标注需求,支持少样本分割、分类和去模糊。实验表明,该模型在标准指标和专家评估上均优于基线方法,展示了基础模型在 LSM 分析中减少标注负担并提升性能的潜力。代码和预训练权重已开源。
推荐理由:做生物影像分析的研究者终于有了一个能少标注、多任务的 3D 基础模型——少样本就能搞定分割、分类和去模糊,建议做 LSM 数据处理的团队直接试试开源的预训练权重。
5月22日
11:12
11:12官方账号arXiv cs.AI@Girish Narayanswamy, Maxwell A. Xu, A. Ali Heydari, Samy Abdel-Ghaffar, Marius Guerard, Kara Vaillancourt, Zhihan Zhang, Jake Garrison, Levi Albuquerque, Dimitris Spathis, Hong Yu, Hamid Palangi, Xuhai "Orson" Xu, David G. T. Barrett, Joseph Breda, Jed McGiffin, Yubin Kim, Yuwei Zhang, Naghmeh Rezaei, Samuel Solomon, Karan Ahuja, Tim Althoff, Jake Sunshine, Ming-Zher Poh, Benjamin Yetton, Ari Winbush, Nicholas B. Allen, James M. Rehg, Isaac Galatzer-Levy, Yun Liu, John Hernandez, Anupam Pathak, Conor Heneghan, Yuzhe Yang, Ahmed A. Metwally, Pushmeet Kohli, Mark Malhotra, Shwetak Patel, Xin Liu, Daniel McDuff
精选72°
研究人员提出了一种面向可穿戴健康数据的基础模型,该模型在来自500万参与者的超过1万亿分钟未标记传感器信号上进行了预训练。通过联合扩展模型容量和预训练数据量,该模型在35项健康预测任务上(涵盖心血管、代谢、睡眠、心理健康及生活方式等)表现出系统性性能提升。该模型支持少样本学习和生成能力,可稳健估计日常健康指标。研究还部署了一组LLM智能体来自动搜索基于模型嵌入的下游预测头,并展示了性能随LLM能力提升而增强。最后,将下游预测器集成到个人健康代理中,经1860次临床医生评分验证,模型响应更相关、更具上下文意识且更安全。
推荐理由:这项研究解决了可穿戴数据标注稀缺和个体差异大的核心难题,做健康AI或可穿戴设备开发的团队可以直接参考其预训练方法和少样本学习策略,值得关注。