精选理由
大模型训练中流水线并行的空闲气泡问题一直困扰着分布式训练团队，RRFP 用就绪优先的思路直接提升 GPU 利用率，做大规模训练的工程师值得关注这个新方案。
论文提出 RRFP（Runtime-Readiness-First Pipeline），一种基于任务就绪状态的流水线并行运行时系统。传统流水线并行依赖静态或自适应生成的调度顺序，当实际任务就绪状态与预设顺序不一致时，会导致阶段错位和空闲气泡。RRFP 将调度视为非绑定的提示顺序，优先执行已就绪的任务，结合消息驱动的异步通信和轻量级张量并行协调。在 128 GPU 上测试，RRFP 在纯语言和多模态任务上分别实现最高 1.77 倍和 2.77 倍加速，并优于现有外部系统。
AI 翻译 · 中文
论文提出 RRFP（Runtime-Readiness-First Pipeline），一种基于任务就绪状态的流水线并行运行时系统。传统流水线并行依赖静态或自适应生成的调度顺序，当实际任务就绪状态与预设顺序不一致时，会导致阶段错位和空闲气泡。RRFP 将调度视为非绑定的提示顺序，优先执行已就绪的任务，结合消息驱动的异步通信和轻量级张量并行协调。在 128 GPU 上测试，RRFP 在纯语言和多模态任务上分别实现最高 1.77 倍和 2.77 倍加速，并优于现有外部系统。
Pipeline parallelism is a key technique for scaling large-model training, but modern workloads exhibit runtime variability in computation and communication. Existing pipeline systems typically consume static, profiled, o…