论文精选

Spotlight:协同种子探索与Spot GPU加速DiT强化学习后训练

Spotlight: Synergizing Seed Exploration and Spot GPUs for DiT RL Post-Training

精选理由

Spotlight系统用便宜的Spot GPU做DiT强化学习后训练,成本降低1.4-6.4倍,训练快4倍,适合预算有限的团队。

AI 摘要

DiT强化学习后训练需要数千块高端GPU,成本极高。Spotlight系统利用Spot GPU(价格低69-77%)和种子探索技术,将训练速度提升4倍。该系统通过带子集探索规划器最大化奖励方差,弹性序列并行在预emption时毫秒级恢复,并采用拉取式调度平衡负载。在Qwen-Image后训练中,Spotlight达到相同验证分数的成本降低1.4-6.4倍,在DeepSeek-OCR和Geneval数据集上512×512和1280×1280分辨率下图像质量更优。

AI 翻译 · 中文

DiT强化学习后训练需要数千块高端GPU,成本极高。Spotlight系统利用Spot GPU(价格低69-77%)和种子探索技术,将训练速度提升4倍。该系统通过带子集探索规划器最大化奖励方差,弹性序列并行在预emption时毫秒级恢复,并采用拉取式调度平衡负载。在Qwen-Image后训练中,Spotlight达到相同验证分数的成本降低1.4-6.4倍,在DeepSeek-OCR和Geneval数据集上512×512和1280×1280分辨率下图像质量更优。

arXiv: DeepSeekReinforcement learning (RL) post-training of Diffusion Transformers (DiTs) is prohibitively expensive, requiring thousands of high-end GPUs. Existing works explore two directions to reduce cost: seed exploration improves