Data heterogeneity(数据异构性)指分布式或联邦学习场景中,各参与方持有的数据在数量、分布和标签上不一致的现象,是制约联邦学习实用化的核心难题之一。由于各客户端数据呈现 Non-IID(非独立同分布)特性,直接聚合本地模型常导致全局模型收敛变慢、精度下降甚至偏向多数方,因此围绕数据异构性的研究持续活跃。
Data Heterogeneity 的近期研究进展
当前焦点与观察点
目前围绕 Data heterogeneity 的讨论呈现出三个值得关注的方向。其一是“异构性是否必然有害”被重新审视:神经影像研究显示数据量异构性可带来正向收益,这与此前把 Non-IID 默认为噪声的主流假设形成对照。其二是缓解手段从单一加权聚合走向多样化,包括重标记、鲁棒性框架设计以及借助自监督预训练来降低对本地分布的敏感度。其三是评估口径尚未统一,不同工作对数量异构、特征异构和标签异构的划分方式不一,导致方法之间的可比性有限。对实践者而言,一个合理的观察点是:在真实医疗影像、边缘设备等场景中部署联邦学习时,应先刻画各参与方的数据异构类型,再选择针对性的聚合或修正策略,而非笼统套用通用方案。