Thinking Machines Lab 推出 4 位全流程训练方案 BBBK，预训练提速 8%
Mira Murati 的 Thinking Machines Lab 把训练全流程压到 4 位精度，68 小时跑完预训练，RL 阶段还快 20%。做训练或算长预算的团队可以看它的混合精度拆解思路，跟全 8 位方案比成本低一截。
Thinking Machines Lab 在英伟达 GB300 平台上开发了名为 BBBK 的底层加速程序，实现端到端 4 位训练，并用在 Inkling 2 Small 模型的全流程训练中。原本需要数周的同体量预训练，在 GB300 机柜上只用了 68 小时完成。
技术机制上，BBBK 采取分工策略：前向推理使用 4 位数字格式 NVFP4 提速计算，反向参数更新切回 8 位格式 MXFP8 控制精度损失，数据传输时进行旋转压缩与随机舍入修正，并省去了传统低精度训练后单独做校准的步骤。
与全程 8 位格式训练相比，该方案在预训练阶段节省 8% 时间，强化学习阶段提速 20%，运算管道和传输带宽同时跑满不互相等待，而模型最终回答准确率几乎不受影响，直接降低了训练的算力成本。
End-to-End 4-Bit Training：让大模型用更粗糙的数字格式完成全流程训练，大幅缩短显卡训练时间
训练大模型需要处理海量数据，直接把数字精度压到4位虽然能加快计算，但四舍五入累积的误差会严重拖垮模型的学习效果。
为了解决这个矛盾，Thinking Machines Lab在英伟达GB300显卡平台上开发了名为BBBK的专用底层加速程序。采取了分工策略，在模型向前推理计算时使用高速度的4位数字格式NVFP4，在向后更新参数时切回较精细的8位格式MXFP8，并在传输数据时顺手进行旋转压缩与随机舍入修正，省去了传统训练完成后还要单独做低精度校准的麻烦步骤。
这套方案应用在Inkling 2 Small模型的全流程训练中，显卡的运算管道和传输带宽同时跑满，没有出现互相等待的卡顿。原本需要好几周才能跑完的同体量模型，现在在GB300机柜上只用了68小时就完成了预训练。对比全程使用8位格式训练，新方案在预训练阶段节省了8%的时间，在强化学习阶段直接提速了20%，省下了大量算力开销，同时模型最终的回答准确率几乎没有受到影响。
链接：https://t.co/PdrC5Gp5RJ
This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include BBBK, NVFP4, Thinking Machines Lab, GB300.
Source attribution: curated from Gorden Sun (@Gorden_Sun). Cross-source corroboration: 10 independent sources have covered this development (including vLLM, Mira Murati (TML), rohanpaul_ai), confirming industry-wide signal strength.
