Chinese contentThinking Machines Lab 开源 Inkling 2 Small：594B 参数 4-bit 前向训练模型
Thinking Machines 兑现了开源承诺，594B 参数的 Inkling 2 Small 直接上了 HuggingFace，Apache 20 许可可商用。4-bit 前向训练省了 8% 预训练和 20% RL 时间，只掉约 2% 效率，想研究低精度训练的团队值得拉下来跑跑。
#quantization training
4 stories · 2 in 7 days · 2 in 30 days
Stories, products and papers tagged "quantization training", newest first.
Nov 14
Chinese contentThinking Machines 公布 Inkling 2 Small 全程原生 4-bit 训练细节
Thinking Machines 把 Inkling 2 Small 从预训练到 RL rollout 全程用原生 4-bit 前向跑完，速度更快但量化误差会伤学习，这篇博客讲了他们怎么解决。做训练或想省算力成本的工程师值得看看细节。
Sep 3
Nemotron-H 8B Model FP4 Pretraining
This method improves efficiency for large language model training with quantization, potentially reducing costs for AI developers in the region.
May 27
Chinese contentMobileMoE：面向设备端部署的MoE语言模型，0.3B-0.9B活跃参数
MobileMoE解决了移动端大模型部署的算力与内存瓶颈，做端侧AI应用或手机端推理的开发者可以直接参考其架构和训练方案，实测性能提升显著。