Models71°

百度开源 ERNIE 5.5 Flash Base:280B 参数、每 token 激活 14B 的 MoE 模型

Why we picked it

百度放了个开源 MoE 模型,280B 总参但每个 token 只激活 14B,跑得省,官方说同量级里能打 SOTA,完整的 5.5 Flash 还在路上。

百度开源了 ERNIE 5.5 Flash Base,采用 MoE 架构,总参数 280B,每 token 激活 14B。官方称该模型在同参数量级下达到 SOTA 水平,benchmark 对比对象选取的是同量级模型。发布说明中还列出了 DeepSeek-V4.1-Flash-1017、Hy4、MiMo-V2.6-Flash 等最新模型供参考。完整的 ERNIE 5.5 Flash 尚未发布,后续会推出。

Original · shao__meng

百度开源发布了 ERNIE 5.5 Flash Base 一个 MoE 架构模型,280B/A14B 参数 不过 benchmark 对比的怎么都不是各家最新模型呢?原来是因为想对比同参数量级,好吧,还是把各家最新模型列出来,方便大家参考。 DeepSeek-V4-Flash-Base -> V4.1-Flash-1017 Hy3-preview-Base -> Hy4 MiMo-V2.5-Base -> MiMo-V2.6-Flash Baidu Research @BaiduResearch ERNIE 5.5 Flash Base is now open source — a 280B-parameter model with 14B active per token, and it already matches SOTA at its size! And this is just the start — the full ERNIE 5.5 Flash is on its way. 👀 🔗 View Quoted Tweet 💬 6 🔄 0 ❤️ 3 👀 307 📊 5 ⚡