#混合专家

这个研究很实用，它提供了一种方法来加速大语言模型，而且速度提升很显著，还能保持性能，对开发者应该有用。

DeepSeek 新出的 CoAtNet-DeepMoE 模型，用混合专家技术把参数量从几百万降到两百万左右，同时保持高准确率，对做农业病害识别的应该有用。

论文揭示了训练流程中检查点选择的关键问题，对大模型训练实践有重要指导意义。

金融时序预测别急着堆参数，试试把市场状态信息只用来做路由。RG-ResMoE在1027只美股上比MLP更准更稳，软路由还改善了VaR校准。

这篇论文提出用LoRA和混合专家架构让智能体不断学新动作而不忘旧的，5任务基准上几乎零遗忘，值得做持续学习或运动生成的看看。