#MoE

共 251 条 · 7 天 14 条 · 30 天 59 条

开源模型 53 多模态 24 智能体 21 Kimi K3 14 推理模型 13 NVIDIA 11 DeepSeek 9 编程助手 9

5月15日

模型精选73°23:35

Transformer vs MoE：一张图讲清路由、专家选择与负载均衡

想搞懂 MoE 为什么又快又强，这篇视觉解释把路由和负载均衡的坑讲透了，做模型训练或推理优化的开发者值得一看。

#Transformer #MoE #路由机制 #负载均衡

berryxia@berryxia原文

5月14日

论文精选14:13

Cohere 报告：MoE 模型让推测解码更高效

做 LLM 推理优化的开发者值得关注——MoE 模型在推测解码上的意外优势可能改变成本结构，建议点开报告看具体数据。

#MoE #推测解码 #推理加速 #Cohere

官方账号Cohere@cohere原文

论文精选13:27

MinT：管理百万级LoRA策略的训练与推理基础设施

做大规模LoRA训练和推理的团队终于有了正经的工程方案——MinT解决了策略数量爆炸时的资源浪费问题，用适配器分离和调度大幅降低成本，搞大模型服务的建议点开看看。

#LoRA #训练/推理基础设施 #MoE #大规模部署

arXiv cs.LG@Mind Lab 等 63 人原文

模型中美对照官方一手75°01:10

DeepSeek 开源 DeepEP：首个面向 MoE 模型的 EP 通信库

MoE 模型的通信瓶颈一直是训练和推理的痛点，DeepEP 专为此优化，做大规模分布式训练的团队值得关注。

#DeepSeek #MoE #EP通信库 #开源/仓库

官方一手DeepSeek: GitHub 新仓库原文

产品中美对照官方一手精选00:33

DeepSeek开源高效MoE通信库DeepEP

DeepSeek开源MoE通信库

#DeepEP #DeepSeek #MoE #通信库

官方一手DeepSeek: GitHub 新仓库原文

产品 Agent 与开发者官方一手精选00:33

DeepSeek 开源 DeepEP 项目，GitHub 星标超 9600

DeepSeek 开源了高效推理库

#DeepEP #DeepSeek #开源 #推理优化

官方一手DeepSeek: GitHub 新仓库原文

模型中美对照官方一手精选00:33

DeepSeek发布DeepEP：开源MoE专家并行通信库

DeepSeek开源了让MoE训练更快的通信库

#DeepEP #DeepSeek #MoE #专家并行

官方一手DeepSeek: GitHub 新仓库原文

5月13日

模型中美对照官方一手21:35

DeepSeek 开源 DeepEP：首个面向 MoE 模型的专家并行通信库

MoE 模型的通信瓶颈是训练和推理的常见痛点，DeepEP 直接解决了这个问题。做大规模 MoE 训练或推理的团队，值得集成试试。

#MoE #通信库 #DeepSeek #开源/仓库

官方一手DeepSeek: GitHub 新仓库原文

论文精选19:12

ROMER：模拟存算一体系统上MoE大模型的鲁棒性校准框架

模拟存算一体是突破大模型内存墙的关键路线，但硬件噪声对MoE架构的破坏一直未被正视。做硬件-算法协同设计的团队，这篇论文给出了可直接复用的校准方案，值得细读。

#MoE #存算一体 #硬件噪声 #后训练校准

arXiv: DeepSeek@Wenyong Zhou 等 9 人原文

模型中美对照精选15:51

Perplexity 发布 Qwen3 235B 在 NVIDIA GB200 上的推理研究

做大规模模型推理部署的团队值得关注——GB200 在 MoE 模型上的推理效率提升显著，Perplexity 的实践给出了可直接参考的优化路径。

#推理模型 #Perplexity #Qwen3 #NVIDIA GB200

官方账号Perplexity@perplexity_ai原文

5月11日

论文19:03

EngGPT2-16B-A3B基准：意大利语MoE模型表现优于同类

该评测展示了意大利本土LLM的最新进展，对关注多语言模型（尤其是意大利语）的研究者和开发者具有参考价值，也反映了MoE架构在中等参数规模下的实际性能水平。

#大语言模型 #MoE #意大利语 #EngGPT2

arXiv: DeepSeek原文