10:12
官方账号arXiv cs.AI@Deokjae Lee, Sihun Chu, Hyun Oh Song
精选73°
推荐理由：SNU MLLab团队发布Q-Strata，解决了MoE模型混合精度量化的难题，比现有方法性能更好。
Q-Strata
共 1 条相关 AI 资讯
9月1日
10:12
Q-Strata是一种双层分配器，针对Mixture-of-Experts模型提出。该方法在每个MoE块内使用廉价代理进行候选排名，并在块间设置预算。在Mixtral-8x7B-Instruct、Qwen1.5-MoE-A2.7B和DeepSeek-V2-Lite模型上测试，Q-Strata在低比特率下实现了比均匀比特宽度的GPTQ和最先进的MoE MPQ方法MxMoE、GEMQ更低的WikiText2困惑度。