AITOP

共享状态分解

共 1 条相关 AI 资讯
5月21日
10:22
10:22官方账号arXiv cs.LG@Theofilos Mailis, Kalliopi-Christina Despotidou, Konstantinos Filippopolitis, Yannis Foufoulas, Thanasis-Michail Karampatsis, Andreas Ktenidis, Evdokia Mailli, Theodore Papamarkou, Yannis Ioannidis
精选
本文提出了一种类型化张量语言，用于形式化联邦学习与联邦分析中常见的计算结构。该语言区分了客户端分区的联邦张量和全局可用的共享张量，并通过与虚拟全局张量的对比定义语义。核心成果是共享状态分解理论：证明类型化单轮程序可通过固定维度的共享状态分解，且该状态大小与客户端和记录数量无关。此外，还证明了可表示性的逆定理，并将对应关系扩展到跨轮状态共享的迭代程序。最后，开发了可微分的学习片段，支持服务器端梯度下降和二阶更新，形式化了一类通信仅通过固定维度共享状态的联邦学习计算。
论文联邦学习类型化张量语言共享状态分解形式化方法分布式计算
推荐理由：联邦学习领域终于有了形式化的计算模型——这篇论文用类型化张量语言统一了分散的协议，做联邦学习系统设计和理论研究的团队值得细读，能帮你理清通信与共享状态的数学本质。
原文