03:08
官方一手marktechpost@Asif Razzaq
官方一手marktechpost@Asif Razzaq推荐理由：想用AMD显卡跑大模型的可以看看，AMD把16B总参数、2.8B激活的MoE模型全开源了，连训练配置和数据配方都给了。
Instella-MoE-16B-A3B
共 1 条相关 AI 资讯
8月2日
03:08
AMD推出Instella-MoE-16B-A3B，这是一个完全开源的混合专家语言模型，总参数16B，每个token仅激活2.8B。模型采用Gated MLA与FarSkip-Collective架构，在Instinct MI300X和MI325X GPU上从零训练。AMD已发布所有训练阶段的权重，并公开数据混合、配置和推理代码。