10:32
官方账号arXiv cs.LG@Vladimir Bogachev, Vladimir Aletov, Alexander Molozhavenko, Sergei Kudriashov, Maxim Rakhuba
推荐理由：想优化张量参数？这篇论文把Muon优雅地推广到高阶张量，实验比Adam更稳健。
张量
共 1 条相关 AI 资讯
6月25日
10:32
Muon优化器通过谱范数约束执行最速下降，但仅适用于矩阵。Tensorion将这一方法扩展到高阶张量，基于线性最小化预言机（LMO）在张量范数球上进行优化。其LMO通过自适应选择展开矩阵可高效计算，且当限制为二阶张量时精确恢复Muon。在张量计算机视觉任务中，Tensorion相比Adam和现有张量感知基线展现出更优的收敛行为与更稳定的梯度更新。