NVIDIA NeMo Megatron Bridge 支持离线参考打分的 DPO 训练

NVIDIA 在其训练库 NeMo Megatron Bridge 中实现了 DPO 训练，与 SFT 一样只用一份模型，显存占用和步进耗时不变。传统 DPO 需要在每个训练步额外运行一个冻结的参考模型，该实现改为离线打分一次，把每对 chosen/rejected 的 logprob 总和存到磁盘，训练时直接读取。文件保存的是未加 beta 的原始总和，beta 和学习率在损失计算时才引入，一次打分即可覆盖后续所有超参数搜索。