Thinking Machines 发布 Inkling 2 Small：594B 模型仅 68 小时完成预训练

Thinking Machines 发布 Inkling 2 Small，这是一个 594B 参数的模型，在 GB300 NVL72 机架上用 NVIDIA NVFP4 低精度格式训练，预训练只花了 68 小时。NVIDIA 官方账号转发了这一成果。团队在博客 Connectionism 中披露了完整训练细节：从预训练第一步到最后的 RL rollout，全程使用原生 4-bit 前向传播，而不是先高精度训练再量化。 技术上的关键难点在于：比特数更少意味着训练更快，但量化误差会干扰学习过程。团队的方法是让模型从第一步起就适应 4-bit 精度，并解决了量化误差与梯度学习相互干扰的问题，使低精度训练能扩展到 594B 这样的规模。 对行业而言，NVFP4 加 GB300 NVL72 的组合展示了 4-bit 原生训练在超大规模模型上的可行性，若训练成本能按此量级压缩，中小团队训练大模型的门槛会明显降低。