Papers11:58
Chinese content只需对齐 RoPE 等三处舍入位置,就能稳定 LLM 强化学习训练做 RL 训练的朋友看看这篇:不用重写训练框架,只在 RoPE 那条路保留 FP32 中间量就能防崩溃,四个 Qwen 模型都验证过了。
做 RL 训练的朋友看看这篇:不用重写训练框架,只在 RoPE 那条路保留 FP32 中间量就能防崩溃,四个 Qwen 模型都验证过了。
Muon grok虽快,后grokking会崩到27.59%;冻结embedding/readout就能稳。想用Muon训Transformer的注意。
这篇论文找到了混合量子神经网络训练不稳定的一个隐藏原因——测量值范围太小,并提出了一个简单的可学习缩放参数QMT来解决。实验在蛋白质分类和Fashion MNIST上都有效果。
低精度训练是降低大模型成本的关键,但数值不稳定常让训练白费。GNMR用轻量控制解决了这个痛点,做大规模训练或量化训练的团队值得关注,可以直接集成到现有流程中。
做 LLM 训练调参的团队会关心——嵌入层学习率是 μP 优势的关键,直接放大 SP 的嵌入层学习率就能获得类似效果,值得在实验中验证。