Mamba-Transformer 近期进展

Mamba-Transformer 是一种混合模型，结合了 Transformer 和 MoE (Mixture of Experts) 的特点，旨在提高模型在处理多语言和复杂任务时的性能。

Mamba-Transformer 近期进展

Soofi 发布 Soofi S 30B-A3B：开源混合 Mamba-Transformer MoE 模型支持德英双语
Soofi 联盟发布了 Soofi S 30B-A3B 模型，这是一个开源的混合 Mamba-Transformer MoE 模型，支持德英双语，参数量达到 30B。

英伟达发布 Audex 统一模型：30B 总参数，避免多模态扩展后文本能力下滑
英伟达发布了 Audex 统一模型，总参数量为 30B，旨在避免在多模态扩展后文本处理能力的下滑。

NVIDIA 发布 Nemotron 3 Ultra：550B 混合专家模型，专为长时智能体设计
NVIDIA 发布了 Nemotron 3 Ultra 模型，这是一个 550B 的混合专家模型，专为长时智能体设计，采用了 Mamba-Transformer 的架构。

当前焦点与观察点

Mamba-Transformer 模型的性能和效率成为了当前的研究焦点，特别是在处理多语言和复杂任务时。随着模型参数量的增加，如何保持模型的可解释性和高效性成为了重要的观察点。