PRO:投影排练编排解决异构联邦类增量学习的回放退化问题

When Generator Replay Degrades: Projected Rehearsal Orchestration for Heterogeneous Federated Class-Incremental Learning

精选理由

联邦学习各客户端标签不同步?PRO用投影记忆代替生成回放,不用额外预训练,在异构环境下表现更稳,值得做增量学习的试试。

AI 摘要

论文提出PRO框架,用投影排练编排替代合成输入回放,在服务器维护紧凑的类级投影记忆。客户端通过平衡伪多任务训练结合当前样本和旧投影记忆。进一步提出的PRO-MAX增加了邻域加权记忆对齐。在图像、文本、图基准上,PRO和PRO-MAX在异构流下提升了保留率和最终效用,而基线即便扩大回放预算仍因监督不平衡退化,证明回放数量不足以解决质量问题。

AI 翻译 · 中文

论文提出PRO框架,用投影排练编排替代合成输入回放,在服务器维护紧凑的类级投影记忆。客户端通过平衡伪多任务训练结合当前样本和旧投影记忆。进一步提出的PRO-MAX增加了邻域加权记忆对齐。在图像、文本、图基准上,PRO和PRO-MAX在异构流下提升了保留率和最终效用,而基线即便扩大回放预算仍因监督不平衡退化,证明回放数量不足以解决质量问题。

arXiv cs.LGFederated class-incremental learning (FCIL) becomes substantially harder when clients observe different label subsets, progress through tasks at different stages, and provide uneven supervision for the same semantic conc