开源引擎 Strata 让 12GB 显卡跑 125B Qwen3.8-Flash-Next

开发者 Niko1221 开源了 Strata 推理引擎，可在 12GB 显存的消费级显卡上运行阿里巴巴 Qwen 团队 1250 亿参数的 Qwen3.8-Flash-Next 模型。该模型是 2026 年 8 月发布的 MoE 模型压缩版，支持 262K token 上下文。Strata 通过把 MoE 整体放进 RAM、仅将高频专家载入 VRAM，并用轻量模型做投机解码来降显存和提速。在 RTX 5070（12GB）+64GB RAM 配置下，Q2_0 量化版生成速度达 94 词元/秒，IQ3_S 为 53 词元/秒；RX 9070 XT 上 Q2_0 为 60 词元/秒。运行需 32GB 以上 RAM 和 80GB 以上存储。