AITOP

混合专家架构

共 2 条相关 AI 资讯
6月17日
12:00
12:00官方账号arXiv cs.LG@Longlong Zhu, Jiashuo Yu, Zedi Chen, Yuhan Wu, Zhifan Jiang, Yuchen Xian, Yimeng Liu, Jiajie Su, Shaopeng Zhou, Xingyuan Li, Hongyan Liu, Xuan Liu, Dong Zhang, Chunming Wu, Xiang Chen
OmniPlan采用基于大语言模型的解释器将异构自然语言意图转化为统一偏好向量，并利用混合专家架构动态选择MIP求解器、启发式算法和DRL模型作为专家。在分布式机器学习推理卸载任务（包括决策树、SVM、XGBoost等）的真实测试中，OmniPlan实现了近最优卸载，延迟降低高达97.8%，网络设备资源消耗降低11.5%。
论文OmniPlanLLM混合专家架构
推荐理由：OmniPlan用LLM和混合专家做网络优化，在分布式ML卸载上延迟降97.8%，资源降11.5%，效果很直观。
原文
5月19日
14:35
14:35官方账号arXiv cs.AI@Fengyi Fu, Mengqi Huang, Shaojin Wu, Yunsheng Jiang, Yufei Huo, Hao Li, Yinghang Song, Fei Ding, Jianzhu Guo, Qian He, Zheren Fu, Zhendong Mao, Yongdong Zhang
精选72°
Lance 是一个轻量级原生统一模型，支持图像和视频的多模态理解、生成与编辑。它不依赖模型规模扩展或文本-图像主导设计，而是通过协作式多任务训练探索统一多模态建模的实用范式。核心包括统一上下文建模和解耦能力路径，采用双流混合专家架构在共享交错多模态序列上联合学习，同时分离理解与生成路径。实验表明，Lance 在图像和视频生成上显著优于现有开源统一模型，同时保持强多模态理解能力。
论文多模态模型统一模型生成与理解
推荐理由：Lance 用轻量级架构实现了多模态理解与生成的统一，做多模态研究的开发者可以直接参考其双流 MoE 设计，值得关注。
原文