论文11:56
面向高效MoE大模型推理的时空专家预取框架这篇论文分析了Qwen、DeepSeek等MoE模型的专家加载瓶颈，用ST-MoE框架通过预取专家来加速推理，兼顾效率和精度，适合关注大模型推理优化的读者。
#MoE
共 251 条 · 7 天 14 条 · 30 天 59 条
6月16日
6月15日
Mistral AI 确认即将发布 Le Chaton Fat：30T MoE 模型
Mistral 要发一个 30T 参数、256 专家的超大 MoE 模型，还带 1M 上下文和多模态，性能吊打 Fable 5，开源有望了。
6月12日
SGLang 首发支持 MiniMax-M3：428B 多模态 MoE 推理模型
SGLang 第一时间支持 MiniMax-M3，做多模态推理和长上下文应用的团队可以直接上手体验 428B 模型的稀疏注意力加速，编码和智能体任务表现值得一试。
MoE反向传播数学重写：降低激活内存，加速细粒度MoE
做MoE模型训练和推理的开发者，这个数学重写能直接降低你的显存压力并加速训练，尤其适合细粒度MoE场景，建议试试Blackwell新特性带来的性能提升。
6月11日
Google 发布 DiffusionGemma：26B MoE 开源模型，激活仅 3.8B，推理速度超快
本地 LLM 用户终于等来速度突破——DiffusionGemma 的并行生成机制让推理快 4 倍，做本地部署或边缘计算的开发者可以直接在 18GB 显存下体验，值得一试。
DiffusionGemma：基于Gemma 4的扩散模型，每秒1000+ tokens
每秒 1000+ tokens 的生成速度让推理成本大幅降低，做大规模文本生成或实时应用的开发者值得关注，量化后 18GB VRAM 就能跑，门槛很低。
6月10日
Kwai Keye-VL-2.0：开源MoE多模态模型，支持256K长视频理解
长视频理解和智能体场景的开发者终于有了一个开源且高效的MoE模型——Keye-VL-2.0仅激活3B参数就能处理256K上下文，做视频分析或智能体应用的团队可以直接下载权重试试。
6月7日
NVIDIA 发布 Nemotron 3 Ultra：550B 参数开源 Agent 模型
做 Agent 开发的团队终于有了一个高性能且成本可控的开源选择——Nemotron 3 Ultra 推理快 5 倍、成本降 30%，值得直接上手试试。
6月5日
NVIDIA 发布 Nemotron 3 Ultra：550B MoE 开源模型，专为长时智能体设计
做智能体开发和部署的团队终于有了一个开源的高效选择——Nemotron 3 Ultra 直接降低长任务推理成本 30%，建议关注并测试其在实际 agent 场景中的表现。
LangChain 原生支持 NVIDIA Nemotron 3 Ultra，Day 0 集成 Deep Agents
做智能体应用的开发者可以立即在 LangChain 中调用 Nemotron 3 Ultra，推理快 5 倍、成本降 30%，值得直接上手试。
6月4日
Nex-N2-Pro 基于 Qwen3.5-397B，性能对标 GPT-5.5 和 Claude Opus 4.7
做智能体编程或深度搜索的团队，现在就能免费试用一个对标顶级闭源模型的开源 MoE 模型，且能直接接入 Claude Code、Cursor 等工具，值得立即体验。
NVIDIA 发布 550B MoE 开源模型 Nemotron 3 Ultra，专为长时运行智能体设计
做智能体或编程助手的开发者终于有了一个开源的高效选择——Nemotron 3 Ultra 在速度和成本上显著优于同类模型，值得立即关注和测试。
NVIDIA 发布 Nemotron 3 Ultra：550B MoE 开源模型，专为长时智能体优化
做智能体开发和部署的团队终于有了一个兼顾性能与成本的开源选择——Nemotron 3 Ultra 的 5 倍推理加速和 30% 成本降低值得直接上手测试。
6月2日
JetBrains 发布 Mellum2：12B MoE 模型，专为多模型 AI 流水线中的快速专用任务设计
JetBrains 把 MoE 模型塞进开发者工具链，做 IDE 插件或代码分析工具的团队可以直接用 Mellum2 替换通用模型，提升响应速度且不牺牲质量。
Step 3.7 Flash 发布：196B MoE 模型，推理效率从设计之初优化
Step 3.7 Flash 把推理效率从模型设计阶段就考虑进去，做智能体或搜索应用的团队可以直接在 Fireworks 上试用，成本可能比 DeepSeek 低很多。
JetBrains 发布 Mellum2：12B MoE 模型
JetBrains 的 Mellum2 为 IDE 内代码生成带来了更精准的 MoE 方案，用 JetBrains 全家桶的开发者可以直接在 Hugging Face 上体验，看看它能否提升你的编码效率。
Nvidia 即将发布 Nemotron 3 Ultra，混合 SSM+MoE 架构
Nemotron 3 Ultra 的混合 SSM+MoE 架构解决了长序列推理的高成本痛点，做长上下文应用或工具调用的开发者值得关注，可以直接期待其发布。
5月30日
StepFun 发布 Step 3.7 Flash：198B MoE 视觉语言模型，专为编程智能体和搜索工作流设计
做 AI 编程智能体或搜索应用的团队可以直接用上 256k 上下文和视觉能力，Step 3.7 Flash 的 Advisor Mode 能显著提升复杂任务处理效率，值得关注。
Liquid AI LFM2.5-8B-A1B：1.5B活跃参数跑本地Agent，接近4倍参数模型
本地 Agent 开发者终于不用等大模型了——1.5B 活跃参数就能跑出接近 4 倍参数模型的效果，笔记本就能部署，隐私和延迟都解决了，做本地自动化的建议直接试。
5月29日
阶跃星辰 Step 3.7 Flash 上线 OpenRouter，196B 参数仅激活 11B
做编程和智能体开发的团队终于有了一个高效的多模态 MoE 选择——196B 参数只激活 11B，成本可控且支持灵活推理级别，建议在 OpenRouter 上直接试。
Stepfun 开源 Step 3.7 Flash：196B 参数 MoE 模型，专为智能体优化
做智能体开发的团队终于有了一个原生支持工具调用且速度极快的开源模型——400 tokens/s 的推理速度能显著提升任务执行效率，建议直接上手测试。
NVIDIA 发布 Step 3.7 Flash：198B MoE 模型，11B 活跃参数，256K 上下文
198B 参数但仅 11B 活跃，推理效率极高，做多模态应用或长文档处理的团队可以直接在 NVIDIA 平台试用，省成本又省心。
Liquid AI 发布 LFM2.5-8B-A1B：端侧 MoE 模型，8.3B 参数仅激活 1.5B
端侧部署大模型一直受限于算力和内存，LFM2.5-8B-A1B 用 1.5B 激活参数实现 128K 上下文和工具调用，做移动端 AI 应用或边缘推理的开发者可以直接评估其性能。
5月28日
论文11:54
MoE 模型推理解耦设计空间探索：Attention-FFN 解耦能走多远？MoE 模型推理的瓶颈终于被系统性地拆解了——Attention-FFN 解耦让吞吐量提升到传统方案无法企及的水平，做大规模 MoE 推理部署的团队可以直接参考论文中的分区策略来优化集群。
5月27日
MobileMoE：面向设备端部署的MoE语言模型，0.3B-0.9B活跃参数
MobileMoE解决了移动端大模型部署的算力与内存瓶颈，做端侧AI应用或手机端推理的开发者可以直接参考其架构和训练方案，实测性能提升显著。
5月25日
MoE模型浪费一半专家计算？ZEDA框架让Qwen3等模型跳过简单token
部署MoE模型的团队终于可以省下一半专家计算——ZEDA让Qwen3和GLM等模型自动跳过简单token，推理速度提升20%且几乎不掉精度，做模型推理优化的开发者可以直接参考论文方法。
DeepSeek：美国最后悔没封杀的中国AI公司，用算法创新重塑硬件生态
DeepSeek 用算法创新打破了 GPU 禁运的困局，做长上下文 Agent 的开发者可以直接用 V4 Pro 体验成本暴降的效果，做硬件生态的团队值得研究其开源架构。
5月24日
5月21日
DODOCO 揭示 MoE 调度瓶颈：路由不均衡是模型固有，系统层无法修正
做 MoE 系统优化或互联设计的工程师，这篇论文用实测数据推翻了行业两个核心假设，直接告诉你路由不均衡是模型固有、模拟测试不可信，看完能避免在错误方向上投入精力。
5月20日
中国AI实验室SenseNova U1发布：原生多模态建模，38B激活3B MoE
SenseNova U1解决了多模态生成中模块切换导致的信息丢失问题，做信息图、海报、漫画等密集视觉内容的创作者可以直接用ComfyUI体验，效果惊艳。
5月19日
DBES：首个系统评估MoE专家专业化的基准与指标套件
MoE模型的路由机制一直是个黑盒，DBES让开发者能真正量化专家是否在干专长的事。做MoE训练或微调的团队，可以用这套指标直接优化后训练效率，省资源又提效果，值得一试。