精选理由
Mistral 要发一个 30T 参数、256 专家的超大 MoE 模型,还带 1M 上下文和多模态,性能吊打 Fable 5,开源有望了。
Mistral AI 正式确认即将发布 Le Chaton Fat,这是一个拥有 30 万亿参数(30T)的混合专家(MoE)模型,配备 256 个专家。该模型支持 1M 上下文窗口,具备多模态和多语言能力,并在所有基准测试上超越 Fable 5。具体发布日期尚未公布。
AI 翻译 · 中文
Mistral AI 正式确认即将发布 Le Chaton Fat,这是一个拥有 30 万亿参数(30T)的混合专家(MoE)模型,配备 256 个专家。该模型支持 1M 上下文窗口,具备多模态和多语言能力,并在所有基准测试上超越 Fable 5。具体发布日期尚未公布。
open source wen? Alexander Knigge @AlexanderKnigge oh my god its happening @MistralAI has officially confirmed the upcoming release of Le Chaton Fat - 30T MoE with 256 experts - 1M context window - multimodal and multili…