02:07
Fireworks AI@FireworksAI_HQ
Fireworks AI@FireworksAI_HQ精选
推荐理由：Cognition分享了他们怎么跨三大洲四个数据中心做RL训练，用紧耦合trainer加分布式异步推理，还靠压缩权重差异同步，做到稳定rollout。做大规模RL的值得看看。
分布式推理
共 3 条相关 AI 资讯
7月9日
02:07
Cognition团队分享了其生产级强化学习训练基础设施的设计，核心将训练分为两部分：紧耦合通信的trainer和分布式异步rollout推理。他们的RL训练横跨三大洲四个数据中心，结合自有GPU集群和Fireworks AI等推理提供商的算力。rollout推理引擎通过压缩权重差异在对象存储中同步，实现分布式扩展。这套基础设施支撑了SWE-1.7模型的训练，并确保跨数据中心的可靠rollout。
6月11日
20:45
20:45
官方账号NVIDIA AI@NVIDIAAI
官方账号NVIDIA AI@NVIDIAAI推荐理由：分布式推理是当前大模型落地的关键瓶颈，NVIDIA 联合云服务商推出规模化方案，做 AI 部署和 MLOps 的团队值得关注，尤其是需要处理高并发推理的企业。
6月2日
09:41
09:41
官方账号arXiv cs.AI@Zhiyao Xu, Aoxue Liu, Zhanjie Ding, Dan Zhao, Yong Jiang, Qing Li
推荐理由：MoE推理的通信瓶颈终于有了任务感知的解法——做多任务MoE部署的团队可以直接参考TACG的静态分组+GESR动态复制策略，实测通信成本降三成，公平性几乎无损。