12:06
官方账号arXiv cs.LG@Xuanyu Chen, Nan Yang, Shuai Wang, Dong Yuan
推荐理由：这篇论文证明了MIM比CL更抗非IID数据，还发现联邦学习在鲁棒性上不比分散式学习差。搞分布式自监督的开发者别错过。
D-SSL
共 1 条相关 AI 资讯
7月3日
12:06
该论文理论分析了分布式自监督学习（D-SSL）框架在非独立同分布（non-IID）数据下的鲁棒性。研究发现，基于掩码图像建模（MIM）的预训练比对比学习（CL）对异构数据更鲁棒。鲁棒性随平均网络连接性增加而提高，表明联邦学习（FL）不弱于分散式学习（DecL）。作者提出MAR损失，通过局部到全局对齐正则化改进MIM目标，实验验证了理论并证明其有效性。