在 Amazon EKS 上用 EFA 与 DeepEP 扩展 MoE 强化学习,吞吐量提升 40%
AWS 官方给出了在 EKS 上跑 MoE 强化学习的架构,用 EFA 加 DeepEP 把 RLHF/GRPO 训练吞吐量提高了 40%,自建训练集群的可以抄作业。
AWS 官方给出了在 EKS 上跑 MoE 强化学习的架构,用 EFA 加 DeepEP 把 RLHF/GRPO 训练吞吐量提高了 40%,自建训练集群的可以抄作业。
SGLang给DeepSeek模型加了两个新负载均衡器,跑DeepSeek V3/R1速度能快最多7%,而且不改精度,想加速推理的可以试试。