Rollout

Rollout在AI领域指的是将训练好的模型部署到生产环境并实施推理的过程。近期，随着AI模型规模不断扩大，Rollout过程面临诸多挑战，包括资源优化、成本控制和性能提升等方面。

Rollout 近期进展

40%吞吐量提升：在Amazon EKS上使用EFA与DeepEP扩展MoE强化学习，显著提高了模型部署效率，为大规模Rollout提供了技术支持。在 Amazon EKS 上用 EFA 与 DeepEP 扩展 MoE 强化学习，吞吐量提升 40%

50%体积削减：Fireworks发布的ARCv3压缩器将BF16权重更新体积削减近50%，大幅降低了模型Rollout的资源消耗，使部署更加轻量化。Fireworks 发布 ARCv3 压缩器，将 BF16 权重更新体积削减近 50%

97.6%通过率：Fireworks实测显示其路由系统完美通过率达97.6%，而成本仅为最佳单模型的1/3，展示了高效Rollout方案的经济效益。Fireworks 实测：完美路由通过率 97.6%，成本不到最佳单模型 1/3

20亿token单步：小米直播MiMo-V2.6 RL训练实现了单步约20亿token的全程异步处理，为大规模强化学习模型的Rollout提供了新思路。小米直播 MiMo-V2.6 RL 训练：单步约 20 亿 token 全程异步

AI Rollout领域正朝着更高效、更经济、更智能的方向发展。模型压缩技术如ARCv3正在改变传统Rollout方式，大幅减少资源需求。同时，路由优化成为提升Rollout效率的关键，如Fireworks的高通过率系统展示了智能路由的优势。

随着模型规模持续增长，Rollout面临的挑战也在加剧。如何在保证性能的同时控制成本，如何平衡推理速度与资源消耗，成为业界关注的焦点。未来，Rollout技术可能更加注重分布式计算、边缘部署和自适应优化，以满足不同场景的需求。