Chinese content实测对比:RoCE 与 Quantum InfiniBand 推理性能差距明显
Lambda 在 2 台 HGX B200 上跑了组对照实验,其他条件全一样,只换网络:RoCE 比 InfiniBand 吞吐低 70%,首 token 慢 2.5 倍。正在搭推理集群的工程师选网络方案前应该看看这组数据,省得踩坑。
Lambda 在 2 台 HGX B200 上跑了组对照实验,其他条件全一样,只换网络:RoCE 比 InfiniBand 吞吐低 70%,首 token 慢 2.5 倍。正在搭推理集群的工程师选网络方案前应该看看这组数据,省得踩坑。