Soofi 发布 Soofi S 30B-A3B：开源混合 Mamba-Transformer MoE 模型支持德英双语

精选理由

Soofi 出了一款开源模型，31.6B参数只激活3.2B，混合Mamba+Transformer架构，支持德语和英语，适合多语言场景。

AI 摘要

Soofi Consortium 发布开源混合 Mamba-Transformer 混合专家模型 Soofi S 30B-A3B，总参数量 31.6B，每次推理仅激活 3.2B 参数。该模型专为德语和英语双语言优化，采用 Mamba 状态空间模型与 Transformer 注意力机制的混合架构。模型权重与训练代码已开源，研究者和开发者可直接下载使用。

Soofi 发布 Soofi S 30B-A3B：开源混合 Mamba-Transformer MoE 模型支持德英双语 — 图片来源 · marktechpost

原文 · marktechpost

Soofi Consortium Releases Soofi S 30B-A3B: An Open Hybrid Mamba-Transformer MoE Foundation Model For German And English

Soofi S 30B-A3B is an open Mamba-Transformer MoE model activating 3.2B of 31.6B parameters for German and English The post Soofi Consortium Releases Soofi S 30B-A3B: An Open Hybrid Mamba-Transformer MoE Foundation Model For German And English appeared first on MarkTechPost .

阅读原文