Mamba

general · First seen 2026-05-22 · Last seen 2026-11-17 · 74 mentions

Overview

Mamba 是一种基于选择性状态空间模型(SSM)的序列建模架构,2023 年底提出后被视为 Transformer 的潜在替代方案,主打线性复杂度与更低的推理开销。经过两年多发展,它已从纯架构实验走向混合模型落地,同时学界对其真实优势与局限的讨论也愈发具体。

Mamba 架构近期进展

  • 研究比较 Transformer 与 Mamba 的证据位置偏差:该研究指出两类模型在处理证据位置偏差时表现不同,为理解 Mamba 与注意力机制的归纳偏置差异提供了新视角。
  • OpenRouter 上架采用 Hybrid Mamba-Transformer MoE 架构的多标记预测模型:混合架构模型进入公开推理平台,说明 Mamba-Transformer 混合设计已从论文走向实际可调用的服务。
  • Tri Dao:SSM 推理缺的是缓存对了东西,不是新架构:FlashAttention 作者认为 SSM 推理瓶颈在于缓存策略而非架构本身,这一判断把讨论从"换架构"转向"优化推理路径"。
  • ReplaySSM:缓存SSM输入而非状态:该工作通过重放缓存 SSM 输入而非隐藏状态来改进推理效率,与 Tri Dao 的观点相互呼应。
  • SAE 对比研究:Mamba 与 Pythia 潜在表征 99.98% 对齐:用稀疏自编码器对比发现两者潜在表征高度对齐,暗示不同架构可能收敛到相似的内部表征结构。
  • Mamba 的应用扩散与当前焦点

    Mamba 的应用正在向垂直领域扩散:基于 Mamba-3 的单目 3D 点跟踪(arXiv 2609.34035)、用于轻量人脸检测的交叉尺度融合(WeaveFace),以及受听觉皮层启发的非线性 SSM 架构(ADPTNet)都出现在近期论文中。

    当前焦点集中在三点:一是混合架构(Mamba + Transformer + MoE)成为主流落地路径,纯 SSM 大模型仍少见;二是推理优化重于架构创新,缓存策略成为关键变量;三是可解释性研究开始揭示 SSM 与注意力模型在表征层面的深层相似性。对关注者而言,值得观察混合架构模型的实际推理成本,以及 SSM 在长上下文场景中是否真能兑现线性复杂度的承诺。

    Coverage

    10 on file