#decentralized training

5 stories · 0 in 7 days · 2 in 30 days

Stories, products and papers tagged "decentralized training", newest first.

Nov 5

一篇 arXiv 观点论文，指出 RLHF 和 DPO 默认要集中数据的设计在医疗、法律等场景根本走不通，还给出了分布式对齐的技术路线。

arXiv cs.AI@Zhanhong Jiang et al. (3)Source

Oct 20

去中心化联邦学习里各客户端互相转介查询，不用中央调度也能汇总分布式专长，医疗数据实验结果不错，做分布式训练的可以看看。

arXiv cs.LG@Yuheng Ma et al. (3)Source

Sep 24

做分布式训练又怕隐私噪声影响效果的话，这篇给出了用同批次梯度差分降噪的具体方案，还附了收敛性证明和实验对比。

arXiv cs.LG@Yizhao Fan et al. (3)Source

Jun 10

PapersSelected11:26

GASLoC解决了分布式LLM训练中通信效率与异构带宽的痛点，做大规模模型预训练的团队可以直接参考实验对比，看看能否替代现有方案。

arXiv cs.AI@Pietro Cagnasso et al. (3)Source

May 26

PapersSelected72°12:23

去中心化训练让视频生成模型不再依赖昂贵 GPU 集群，做视频生成或分布式训练的团队可以关注这个开源方案，直接降低算力成本。

arXiv cs.LG@Ali Rouzbayani et al. (4)Source