百度开源 ERNIE-5.5-Flash-Base:280B 参数 MoE 基座模型
Baidu Open-Sources ERNIE-5.5-Flash-Base, a 280B MoE Base Model With 14B Active Parameters
百度把 ERNIE-5.5-Flash-Base 的预训练检查点直接开源了,280B 参数只激活 14B,想自己微调基座模型的人可以去看看。
百度开源 ERNIE-5.5-Flash-Base,总参数量 280B,激活参数 14B 的 MoE 基座模型。该模型是未经后训练的原始预训练检查点,供开发者做继续训练。训练上下文为 128K,并可支持 100 万 token。
Baidu Open-Sources ERNIE-5.5-Flash-Base, a 280B MoE Base Model With 14B Active Parameters
Baidu released ERNIE-5.5-Flash-Base, a raw pretraining checkpoint with 280B total and 14B active parameters, 128K training context and 1M-token support, for further training.