矩阵分解相关 AI 资讯 · AI 热点

7月29日

11:27

11:27

官方账号arXiv cs.LG@Christopher Hahne

传统SVD算法串行，制约GPU吞吐量，难以满足临床实时需求。Quasi-SVD是一种可微分、完全并行的矩阵分解框架，通过单个李参数化因子保证正交性，软约束恢复其余部分。在SSIM=0.89-0.94下，相比cuSOLVER和随机SVD加速3-20倍，吞吐量超过25 FPS。在超声定位显微镜和Mueller矩阵偏振测量两个医学成像任务上验证了鲁棒性，使结构化矩阵分解适用于实时图像引导工作流。

论文 Quasi-SVD GPU 实时成像

推荐理由：Quasi-SVD把矩阵分解速度提了3-20倍，还能在GPU上并行跑，医学实时成像终于有戏了。

6月30日

12:10

12:10

官方账号arXiv cs.LG@Mark Rhee, Jamie Simon, Dhruva Karkada

该论文研究Muon优化器在矩阵分解问题中的参数动力学，发现其与梯度下降有三点关键差异：1）Muon避免从小初始化开始的慢鞍点动力学，以相同速率学习所有顶模，较小模先收敛；2）即使学习率超过局部损失尖锐度的临界阈值，Muon仍保持稳定，允许通过指数学习率退火实现快速收敛；3）Muon流守恒矩阵√(P^T P)-√(Q^T Q)，而梯度流守恒P^T P - Q^T Q。从零初始化时，两者都能找到平衡解。论文还推导了简单设定下的对齐速率，并利用Muon结构属性设计了仅需两步达到近完美对齐的学习率调度。

论文 Muon 矩阵分解优化器

推荐理由：如果你关注优化器理论，这篇论文揭示了Muon比梯度下降更快的机制，并且给出了一个只需两步就对齐参数的学习率调度，很实用。