#自监督学习

欧洲研究团队推出AI地质解释工具，能自动处理300-3500米地震数据，减少人工干预，提高建模效率。

做语音分离或说话人日志的可以看看，SepRQ 开源了，参数才 85.68M 却在 SUPERB 上超过 WavLM，还支持三人混合语音分离。

超图嵌入要训几百轮太慢了，HyperFuse 只要 100 轮，快 13 到 179 倍，精度还不输 TriCL 和 SE-HSSL，做图研究的可以看看。

一篇研究 NVS 架构选择的论文：SNAP 只靠限制 decoder 表达力加 latent 重建，五个几何任务上就追平了专门监督方法，做 3D 视觉的可以看看。

VideoMSN用图像分类器做视频学习，比传统方法快32倍，还能在少样本分类中表现出色。

MEND方法能检测并修正世界模型中的幻觉，AUROC达0.80，定位准确率0.87，提升预测准确性。

一篇时间序列方向的新论文，给 transformer 加了可写记忆层，能同时捕捉局部波动和全局趋势，低标注场景下分类效果不错，做时序的朋友可以看看。

用 22 万条极光光谱做掩码预训练，不用标签就超过专家手工特征和监督基线，还对比了 SpectraFM 和 SpecFormer 的可迁移性，做科学数据自监督的可以看看。

机器人电子皮肤有了专用预训练方法，手中物体朝向误差降 20.8%，代码已开源，做机器人触觉的可以试试。

Bearings 给音频模型补上方位感：接上后 TAU-NIGENS 定位分数从不足 4 升到 50，原模型不用重训。

这篇论文解释了掩码预训练的工作原理，提出了能解决维度坍缩问题的U-MPT方法，还给出了新的掩码策略。

研究人员发布了MR-JEPA模型，能处理心脏MRI多序列视频数据，在心脏功能评估和疾病检测上超越现有方法。

这项研究展示了如何通过参数高效的自适应，在有限的计算和数据收集负担下，有效地部署EEG基础模型（EEG-FM），值得一看。

这篇论文提出了一个针对恶意软件识别的持续学习方法，结合自监督学习和低秩自适应，效果显著，值得一读。

这篇论文揭示了表格基础模型如何通过单表格预训练实现强迁移，颠覆了传统大规模数据训练的认知。

这篇论文提出CoCoEvolve，不用人工标注就能让模型对齐图表、表格和代码，四个基准上都有提升，做多模态可视化数据的人可以看看。

这篇论文用大量数据和对照实验拆解了医学基础模型表征收敛的真正原因，发现关键不是临床标签而是自监督目标，对训练和评估模型很有启发。

不用为每个图数据集调参了，Node4All一个模型跑25个基准排名第5，还支持one-shot学习。

MOJO让神经解码模型也能用大量无标签数据，比纯监督学习更强，尤其数据少时效果拔群。

这篇论文证明了MIM比CL更抗非IID数据，还发现联邦学习在鲁棒性上不比分散式学习差。搞分布式自监督的开发者别错过。

这篇论文用SAM掩码改进了LeJEPA，让自监督学习在数据少时更管用。跟踪、分类、分割结果都比原版强，适合想提升视觉特征效率的同学看。

想用少量标注数据做心电图分析？这篇论文提出的ER-JEPA用18万条无标注ECG预训练，在ST-MEM基准上跑出SOTA，计算量还比同类方法小。

想找一种不用数据增强的时间序列自监督方法？LeNEPA用下一个潜在预测取代传统对比学习，在跨数据集表现更稳，学习速度也快一倍。

这篇论文提出 AdaJEPA，能让世界模型在测试时自动适应，一次梯度步就大幅提升规划成功率，解决分布偏移问题。

有人发了VISReg，一种给JEPA训练用的新正则化技巧，通过方差、不变性和素描来提升表征质量。

AK@_akhaliq原文

做多智能体系统编排的团队终于有了一个低成本、高回报的训练方案——OrchRM 省去了人工标注和子智能体回滚，直接提升 8% 准确率，建议做 MAS 的开发者试试这个开源框架。

科学图像分析团队终于有了不用手动标注就能适配大模型的方法——FINO 用已有的元数据就能提升效果，做显微镜、卫星或医学影像的开发者可以直接试试。

TxFM解决了转录组基础模型性能不佳的痛点，做药物发现和生物信息学的团队可以试试这个轻量级方案，效果优于大模型。