#MoE/混合专家

共 3 条 · 7 天 0 条 · 30 天 0 条

信息流里打上「MoE/混合专家」标签的资讯、产品与论文，按刊登时间排，新的在上。

6月12日

模型 Agent 与开发者21:56

Kimi K2.7-Code 发布：1T 参数 MoE 编程智能体模型

编程智能体模型终于有了更高效的选择——K2.7-Code 在保持 1T 参数规模的同时，将激活参数压缩到 32B，做代码生成和推理的开发者可以直接在 vLLM 上复用现有部署，值得一试。

#编程智能体 #MoE/混合专家 #Kimi #推理模型

官方账号vLLM@vllm_project原文

6月10日

论文精选09:11

MoE 专家重要性因果审计：观测指标无法预测剪枝效果

MoE 模型剪枝的常用假设被实验证伪了——做模型压缩或可解释性研究的团队，建议重新审视你的专家选择策略，别再依赖路由统计指标。

#MoE/混合专家 #模型剪枝 #因果推断 #可解释性

arXiv: DeepSeek@Leonard Engmann 等 3 人原文

5月25日

论文精选12:05

ZEDA：让MoE模型具备算力预算意识，跳过半数专家

做MoE模型部署或推理优化的团队，ZEDA直接解决了算力浪费问题——跳过一半专家还能保持效果，值得一试。

#MoE/混合专家 #模型压缩/加速 #自蒸馏 #算力优化

AI Will@FinanceYF5原文