CertiSum:让 MXFP4 训练在不同平台与并行布局下结果完全一致
CertiSum 是一种让 MXFP4(4-bit 微缩放格式)训练实现逐位一致(bitwise-identical)的方法,解决同一输入在不同并行布局和 GPU 厂商之间产生不同结果的问题。 其核心观察是:MXFP4 乘积的 FP32 原生累加在多数求和顺序下本身就是精确的。CertiSum 在量化阶段收集统计信息来认证矩阵乘法结果,对未通过认证的输出进行精确重算,在认证几乎不成立的场景改用精确 kernel。它保持量化块在不同布局下不变,并在注意力与权重梯度计算中合并不带舍入的局部和。 在 200 步 Qwen3-8B-Base 实验中,CertiSum 在 AMD MI350X 与 NVIDIA GB200 之间以及 MI350X 上数据、张量、上下文并行布局切换时逐位保留训练状态。在 MI350X 上对 FineWeb-Edu 的三个 8B–14B 模型测试,它比非精确 MXFP4 对应实现增加 11.8–60.5% 的单步延迟,同时相对 BF16 最高加速 1.24×,相对确定性 BF16 最高加速 1.70×。
Current read
跨厂商 GPU 和并行方式训练结果居然会不一样,这坑很多人踩过。这篇提出 CertiSum,让 4-bit MXFP4 训练逐位可复现,实测在 AMD 和 NVIDIA 卡上都一致,速度还比 BF16 快。做分布式训练和审计的朋友值得花时间看看。
Evidence
4 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.