#联邦学习
这篇 arXiv 论文提出 PI-SME,把梯度反转攻击的代理模型从单点升级成路径积分近似,在 CIFAR-100 和 FEMNIST 上重建私有图像比之前的基线更准。做联邦学习隐私的可以看看。
Google 把联邦学习的训练过程搬进可信执行环境,还允许外部核查差分隐私,Gboard 的英语和日语预测已经在用了。
一篇通信方向的联邦学习论文,FedOAG 解决了弱信道拖累收敛、衰落模型失配的问题,理论证明了 O(1/√T) 最优速率,做边缘联邦学习可以看看。
联邦学习又出新优化思路:让所有客户端沿同一条预测路径算梯度,通信量和 FedAvg-M 一样但聚合方向是无偏的,还附理论收敛证明,做分布式训练的可以看看。
Apple 发了一篇联邦学习论文,讲怎么用伪标签在无标注数据上训 ASR 模型,还给了稳定训练的实操配方,做语音方向的可以看看。
这是篇挺有意思的技术论文,作者把联邦学习的思想用在了大模型训练上,在 512 块 A100 上跑 Llama3.1 8B 时,数据吞吐量提升了 8.04 倍,挺厉害的。
这是篇关于联邦图神经网络(Federated Graph Neural Networks)的学术论文,研究了结构负迁移问题,对关注联邦学习或图神经网络的研究者可能有参考价值。
RegionFed解决了联邦学习中transformer模型崩溃问题,在T5-Small到T5-3B等多种架构上实现零代码部署,准确率接近集中式模型。
这篇论文给去中心化下了个清晰定义,还搞了两个新指标,能自动算系统去中心化程度。搞联邦学习或区块链的可以看看,比之前那些模糊说法靠谱。
卫星联邦学习老被轨道数据不均衡坑,FedOrbit 用分层聚合和自适应分解,在遥感基准上最高提了 16 个点,做边缘 AI 的可以看看。
FedDOSE用联邦学习处理多中心脑影像数据,在ABIDE和ADHD-200上自闭症、多动症识别都超过现有方法,做医疗AI的可以看看。