Self-supervised(自监督学习)是一类无需人工标注、让模型从数据自身结构中构造监督信号的机器学习范式,是当前大规模预训练与基础模型的核心训练方式。它与监督学习的关键区别在于标签由数据本身生成,例如遮蔽部分输入让模型还原、对比正负样本等,从而大幅降低标注成本并提升数据可扩展性。
Self-Supervised 近期进展
自监督方法正从传统的视觉、语音领域向更专门的成像与图结构任务扩散。在医学影像方向,Self-Supervised Implicit CEST Reconstruction via Lorentz Encoding提出用洛伦兹编码的隐式神经表示直接从欠采样数据重建 CEST 图像,无需成对的完整采样标签。在图学习方向,HyperFuse: Fast Self-Supervised Node Embeddings for Attributed Hypergraphs针对属性超图给出了快速的节点嵌入方案,反映了自监督向高阶结构数据的延伸。
多模态与语音表征也是活跃方向。HRIL: Learning Multimodal Synergy via Higher-Order Tensor Modeling通过高阶张量建模学习多模态协同表征;SepRQ: Self-Supervised Speech Mixture Representation Learning via Mask-Free, Multi-Scale Source Separation则放弃了常用的掩码策略,改用免掩码多尺度源分离来从混合语音中学习表征,说明语音自监督的主流技术路线仍在迭代。
基础模型与效率优化方面,GeneICL: A Tabular Foundation Model for Bulk Transcriptomics将表格基础模型思路带入转录组数据,Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency则用自监督置信度训练提升推理效率,表明这一范式也开始用于控制大模型的计算开销。
当前焦点与观察点
近期工作的一个明显趋势是自监督学习与具体领域结构深度结合:CEST 重建利用物理编码、婴儿心电(BeatGraph)利用家庭环境的图结构、量子-经典混合方案(宽度匹配对比实验)则探索新硬件上的可行性。另一趋势是质疑既有组件,如 SepRQ 去除掩码、Image Classifiers are Efficient Self-Supervised Video Representation Learners证明现成图像分类器即可高效学习视频表征,说明该领域正从堆叠技巧转向更简洁有效的设计。值得观察的问题是:在标注成本持续下降、合成数据兴起的背景下,自监督与弱监督、合成监督之间的边界如何演进,以及各领域是否会出现收敛的统一自监督框架。