Alman

general · First seen 2026-05-25 · Last seen 2026-11-04 · 8 mentions

Overview

Alman 是矩阵乘法复杂性理论领域的重要研究者(Josh Alman),以对矩形矩阵乘法指数 α 与经典乘法指数 ω 的上、下界分析而闻名;近一年多来,围绕其工作衍生出一系列新进展,使这一看似抽象的理论议题重新回到 AI 社区的视野中心。矩阵乘法指数 ω 决定了 n×n 矩阵相乘所需的渐近复杂度 n^ω,而 α 描述的是矩形矩阵(如 n×n² 乘 n²×n)的对应指数,直接关系到大规模模型训练与推理中线性代数核心运算的理论下限。

Alman 相关研究近期进展

  • 2025 年 10 月,一篇 arXiv 论文 arXiv 论文将 OpenAI 矩阵乘法分析推广到矩形乘积,证明 α≥1/2 把 OpenAI 此前对乘法指数的分析方法推广到矩形情形,给出了 α≥1/2 的下界,这是继 2024 年 Alman 与 Vassilevska Williams 证明 α>2/(ω+1) 之后该方向的重要延续,缩小了上下界之间的空隙。
  • 同月,Anthropic 的研究者发布了 Simple, Faster (min, +) Matrix Multiplication and APSP,改进了 (min,+) 矩阵乘法与全源最短路径(APSP)问题的算法,这类问题与标准矩阵乘法在归约意义上深度关联,构成该理论版图的另一条主线。
  • 更早的 8 月,Improving the matrix multiplication exponent with modern optimization and AlphaEvolve 尝试用现代优化技术与 DeepMind 的 AlphaEvolve 搜索张量分解,从构造性角度逼近更小的乘法指数,延续了 AlphaTensor 以来的“AI 寻找更快矩阵乘法”路线。
  • 在应用层面,Approaching I/O-optimality for Approximate Attention 分析了近似注意力机制的 I/O 复杂度,将理论层面的乘法与通信开销研究与 Transformer 推理的工程实践连接起来。
  • 当前焦点与观察点

    Alman 所在的这一分支目前的焦点,一是矩形乘法指数 α 的上下界能否进一步收敛——α≥1/2 的下界是否可以继续抬高,将直接影响对实际负载(宽矩阵乘法在深度学习中极为常见)的理论刻画;二是 AI 辅助算法搜索(AlphaEvolve、AlphaTensor 路线)与传统组合证明方法能否互补,用搜索得到的新分解是否具备可被理论工具解释的结构;三是这些渐近结果距离工程实现仍有距离,常数因子、I/O 与并行通信成本往往在真实系统中占主导。综合来看,Alman 相关的矩阵乘法研究正处在“理论界逐步收紧、AI 方法尝试突破”的双轨并行阶段,值得持续关注的是 α 下界的后续改进,以及算法搜索工具是否能带来首个超越现有构造的 ω 上界。

    Coverage

    7 on file