#μP

做 LLM 训练调参的团队会关心——嵌入层学习率是 μP 优势的关键，直接放大 SP 的嵌入层学习率就能获得类似效果，值得在实验中验证。