10:32
arXiv cs.LG@Vladimir Bogachev, Vladimir Aletov, Alexander Molozhavenko, Sergei Kudriashov, Maxim Rakhuba
推荐理由：想优化张量参数？这篇论文把Muon优雅地推广到高阶张量，实验比Adam更稳健。
全部 AI 动态
AI 相关资讯全量信息流
6月25日
10:32
Muon优化器通过谱范数约束执行最速下降，但仅适用于矩阵。Tensorion将这一方法扩展到高阶张量，基于线性最小化预言机（LMO）在张量范数球上进行优化。其LMO通过自适应选择展开矩阵可高效计算，且当限制为二阶张量时精确恢复Muon。在张量计算机视觉任务中，Tensorion相比Adam和现有张量感知基线展现出更优的收敛行为与更稳定的梯度更新。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07