英伟达解释如何让30亿参数模型每token仅激活3亿参数

英伟达解释了如何让30B参数模型每token仅激活3B参数，同时仍能利用完整模型能力。这涉及密集模型和MoE模型的不同参数使用方式，对吞吐量、内存和部署复杂度有重要意义。