论文13:22
AngularMuown：显式角度步长衰减的矩阵感知优化器想加速Transformer预训练？这篇论文把优化器角度步长显式化，新方法AngularMuown在nanoGPT竞赛中领先，还在0.5B和1.1B模型上验证了效果。
#Transformer预训练
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「Transformer预训练」标签的资讯、产品与论文，按刊登时间排，新的在上。
6月23日
想加速Transformer预训练？这篇论文把优化器角度步长显式化，新方法AngularMuown在nanoGPT竞赛中领先，还在0.5B和1.1B模型上验证了效果。