#MoE

一篇 MoE 训练论文：把固定 top-k 换成在 k 附近随机采样，Qwen3-30B-A3B 微调能多拿 2 分，推理成本不变。

这篇论文把 MoE 的专家排成二叉树来做路由，不用额外的负载均衡损失，还能按树前缀分设备减少通信，做 MoE 训练的可以看看。

训练万亿参数 MoE 模型的负载不均问题有了新解法，DeepSeek-V4-Pro 上实测训练加速最高 1.94 倍，还不用加硬件，做训练的可以看看。

这篇论文把混合专家思路搬进了 DeepONet 和 FNO，专门对付尖界面、异质系数这类难解的 PDE，误差比基线低不少，做科学计算的可以看看。

一篇解决 PDE 基础模型知识干扰和 MoE 专家冗余的论文，专家数量砍一半精度不掉，做科学计算的可以看看。

清华团队提出ITC-MoE框架，能压缩MoE扩散模型30%参数同时保持96%准确率，速度提升7倍。

MoRA解决了MoE模型部署内存问题，通过路由偏置学习和专家近似机制，在减少专家数量的同时保持模型性能。

这篇论文提出了首个联合建模循环和稀疏性的扩展定律，万亿token规模实验显示其能实现2倍参数效率提升。

清华团队提出SplitMoE，解决视频扩散模型均匀性陷阱，生成质量更优。

清华团队推出Mira系统，解决MoE模型在单GPU上的内存瓶颈，预测专家预取让推理速度提升5倍以上。

合并 MoE 模型时看到路由乱了先别急着修，这篇用 DeepSeekMoE 等三个模型证明漂移不等于失败，还给了工具包和修复代码。

MoE 推理部署的人可以看看，DeepSeek-V4 和 GLM-5.3 上实测 TTFT 快了近一半，思路是让专家计算别干等慢副本。

跑 MoE 显存不够的人可以看看：微调路由加专家，Mixtral-8x7B 每层只缓存 4 个专家，取回次数降了 23.7%，速度更快精度还涨。

一篇教你怎么把 MoE 和循环 Transformer 结合的论文，Foil 把专家层数减半、循环翻倍，同等算力下预训练损失更低，代码也开源了。

一篇医学 AI 论文：UniAR 用多模态模型自动生成诊断文本来补数据缺口，自闭症筛查在 MRI 上准确率到 75.9%，还更可解释。

美团中秋半夜甩出 LongCat 2.5 预览版，16T 参数只激活 48，还有 1M 上下文和原生多模态，参数配置看着很猛，可以蹲一下实测成绩。

berryxia@berryxia3 个信源在谈原文