#Megatron-MUSA-Titan

1 stories · 1 in 7 days · 1 in 30 days

FP8 1 MoE 1 开源模型 1 摩尔线程 1

Stories, products and papers tagged "Megatron-MUSA-Titan", newest first.

Oct 28

Products Builders18:21

Chinese content摩尔线程开源 Megatron-MUSA-Titan，面向万卡集群训练万亿参数 MoE 模型

摩尔线程把自己的万卡集群训练方案开源了，FP8 训练、MoE 通信优化都在里面，做国产 GPU 大模型训练的可以看看。

#摩尔线程 #Megatron-MUSA-Titan #MoE #开源模型

IT之家Source