Chinese content摩尔线程开源 Megatron-MUSA-Titan，支持万亿参数 MoE 训练
摩尔线程把自家万卡集群训万亿参数 MoE 的训练栈开源了，带块级 FP8，国产 GPU 上也能跑 Megatron 式大规模训练。
#Megatron
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "Megatron", newest first.
Oct 29
摩尔线程把自家万卡集群训万亿参数 MoE 的训练栈开源了，带块级 FP8，国产 GPU 上也能跑 Megatron 式大规模训练。