AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
精选
AI 自动挑选的高价值内容
全部模型产品行业论文技巧
标签:分布式计算×
5月21日
10:22
arXiv cs.LG@Theofilos Mailis, Kalliopi-Christina Despotidou, Konstantinos Filippopolitis, Yannis Foufoulas, Thanasis-Michail Karampatsis, Andreas Ktenidis, Evdokia Mailli, Theodore Papamarkou, Yannis Ioannidis
精选37
本文提出了一种类型化张量语言,用于形式化联邦学习与联邦分析中常见的计算结构。该语言区分了客户端分区的联邦张量和全局可用的共享张量,并通过与虚拟全局张量的对比定义语义。核心成果是共享状态分解理论:证明类型化单轮程序可通过固定维度的共享状态分解,且该状态大小与客户端和记录数量无关。此外,还证明了可表示性的逆定理,并将对应关系扩展到跨轮状态共享的迭代程序。最后,开发了可微分的学习片段,支持服务器端梯度下降和二阶更新,形式化了一类通信仅通过固定维度共享状态的联邦学习计算。
论文联邦学习类型化张量语言共享状态分解形式化方法分布式计算

推荐理由:联邦学习领域终于有了形式化的计算模型——这篇论文用类型化张量语言统一了分散的协议,做联邦学习系统设计和理论研究的团队值得细读,能帮你理清通信与共享状态的数学本质。