Mistral AI 确认即将发布 Le Chaton Fat:30T MoE 模型

open source wen?

精选理由

Mistral 要发一个 30T 参数、256 专家的超大 MoE 模型,还带 1M 上下文和多模态,性能吊打 Fable 5,开源有望了。

AI 摘要

Mistral AI 正式确认即将发布 Le Chaton Fat,这是一个拥有 30 万亿参数(30T)的混合专家(MoE)模型,配备 256 个专家。该模型支持 1M 上下文窗口,具备多模态和多语言能力,并在所有基准测试上超越 Fable 5。具体发布日期尚未公布。

AI 翻译 · 中文

Mistral AI 正式确认即将发布 Le Chaton Fat,这是一个拥有 30 万亿参数(30T)的混合专家(MoE)模型,配备 256 个专家。该模型支持 1M 上下文窗口,具备多模态和多语言能力,并在所有基准测试上超越 Fable 5。具体发布日期尚未公布。

Julien Chaumondopen source wen? Alexander Knigge @AlexanderKnigge oh my god its happening @MistralAI has officially confirmed the upcoming release of Le Chaton Fat - 30T MoE with 256 experts - 1M context window - multimodal and multili