#稀疏MoE

共 7 条 · 7 天 0 条 · 30 天 0 条

信息流里打上「稀疏MoE」标签的资讯、产品与论文，按刊登时间排，新的在上。

8月3日

Gary说最大突破是模型加工具和代码解释器，像Claude Code；另有人说9年没真突破。

Gary Marcus@GaryMarcus原文

7月31日

论文多源确认精选09:48

这篇论文把DeepSeek-V4-Flash的MoE数值细节挖得很深，归约顺序不同结果就不同，跑推理时得留神。

arXiv: DeepSeek@Tianyang Zhu11 个信源在谈原文

7月23日

Poolside新出的Laguna S 2.1模型，稀疏MoE只激活8B就能达到1M上下文，还能本地跑在DGX Spark上，写代码和长期任务都很顺手。

官方账号vLLM@vllm_project11 个信源在谈原文

6月8日

论文精选72°10:33

这篇论文解决了大模型训练资源门槛高的问题——单节点8卡就能训120B模型，做MoE和模型扩展的团队可以直接参考其状态保持原则和TQP策略，省下大量硬件成本。

arXiv cs.LG@Rohan Shravan原文

6月4日

模型精选72°12:49

多数实验室事后才考虑推理效率，而 Step 3.7 Flash 从设计之初就为推理优化，做智能体应用和视觉语言模型的开发者可以直接试用，感受 400 tok/sec 的流畅体验。

Fireworks AI@FireworksAI_HQ2 个信源在谈原文

5月13日

论文精选19:12

做MoE模型训练或路由优化的研究者，这篇论文解释了路由崩溃和负载均衡损失的底层机制，看完会对如何设计更有效的路由策略有直接启发。

arXiv cs.LG@Sagi Ahrac 等 3 人原文

5月12日

DECO在保持性能和降低计算开销方面取得了良好平衡，其3倍加速和严格的稀疏性控制对端侧AI部署具有实际参考价值。

arXiv cs.LG@Chenyang Song 等 6 人原文