Baidu 发布 ERNIE 5.5 Flash Base:280B 参数 MoE 基座模型
Baidu Releases ERNIE 5.5 Flash Base: A 280B MoE Base Model With 14B Active Parameters
百度把 280B 的 ERNIE 5.5 Flash 基座模型在还没做后训练前就放出来了,想自己微调、做后训练研究的开发者可以拿来玩。
Baidu 发布了 ERNIE 5.5 Flash Base,这是一个总参数 280B 的稀疏 MoE 基座模型,每次推理仅激活 14B 参数。该模型在 33.5T tokens 上完成预训练,且在任何中期训练或后训练(如指令微调、RLHF)之前就直接开源发布。这意味着开发者可以基于原始基座自行开展微调和后训练。
Baidu Releases ERNIE 5.5 Flash Base: A 280B MoE Base Model With 14B Active Parameters
Baidu has released ERNIE 5.5 Flash Base, a 280B sparse MoE base model with 14B active parameters, trained on 33.5T tokens and published before any mid- or post-training. The post Baidu Releases ERNIE 5.5 Flash Base: A 280B MoE Base Model With 14B Active Parameters appeared first on MarkTechPost .