Mamba 近期进展

Mamba 是一种高性能的混合架构 Transformer 模型，近期在人工智能领域取得了显著进展。以下是对其近期进展的综述。

Mamba 近期进展

Soofi 发布 Soofi S 30B-A3B：开源混合 Mamba-Transformer MoE 模型支持德英双语：Soofi 协会发布了 Soofi S 30B-A3B 模型，这是一个开源的混合 Mamba-Transformer MoE 模型，支持德英双语。

NVIDIA 压缩 MoE 模型 Puzzle-75B-A9B，吞吐量翻倍可保持质量：NVIDIA 发布了 Puzzle-75B-A9B 模型，该模型通过压缩技术将吞吐量翻倍，同时保持模型质量。

Ternary Mamba：基于预训练检查点的分组 QAT 实现 W1.58A16 量化：Ternary Mamba 模型通过分组 QAT 实现了 W1.58A16 量化，提高了模型的效率。

Nemotron 3 Ultra 开源：Mamba-2 混合架构，效率惊人：Nemotron 3 Ultra 模型开源，它采用了 Mamba-2 混合架构，展现出惊人的效率。

当前焦点与观察点

Mamba 模型在近期的发展中，其混合架构和高效的性能成为了焦点。开源模型的发布和量化技术的应用，使得 Mamba 模型在人工智能领域具有了更广泛的应用前景。