Mamba 是一种基于选择性状态空间模型(SSM)的序列建模架构,2023 年底提出后被视为 Transformer 的潜在替代方案,主打线性复杂度与更低的推理开销。经过两年多发展,它已从纯架构实验走向混合模型落地,同时学界对其真实优势与局限的讨论也愈发具体。
Mamba 架构近期进展
Mamba 的应用扩散与当前焦点
Mamba 的应用正在向垂直领域扩散:基于 Mamba-3 的单目 3D 点跟踪(arXiv 2609.34035)、用于轻量人脸检测的交叉尺度融合(WeaveFace),以及受听觉皮层启发的非线性 SSM 架构(ADPTNet)都出现在近期论文中。
当前焦点集中在三点:一是混合架构(Mamba + Transformer + MoE)成为主流落地路径,纯 SSM 大模型仍少见;二是推理优化重于架构创新,缓存策略成为关键变量;三是可解释性研究开始揭示 SSM 与注意力模型在表征层面的深层相似性。对关注者而言,值得观察混合架构模型的实际推理成本,以及 SSM 在长上下文场景中是否真能兑现线性复杂度的承诺。