Chinese contentAMD发布开源MoE模型Instella-MoE-16B-A3B，总参数16B激活仅2.8B
想用AMD显卡跑大模型的可以看看，AMD把16B总参数、2.8B激活的MoE模型全开源了，连训练配置和数据配方都给了。
#Instella-MoE-16B-A3B
1 stories · 0 in 7 days · 0 in 30 days
Stories, products and papers tagged "Instella-MoE-16B-A3B", newest first.
Aug 2
