专家混合模型相关 AI 资讯 · AI 热点

9月1日

10:14

10:14

官方账号arXiv cs.AI@Yuheng Zhang, Yizhao Wang, Da Zhu, Hua Zhou, Yue He, Jiahui Hu, Shaman Tang, Hanlin Chen, Yuhua Wei, Anhua Liu, Shuang Su, Rui Xin, MingYuan Wang, MingHao Li, HaoJie Yang, Siqi Liu, Jianlei Zheng, WeiChao Huang, Qiman Wu, Hang Zhang, HongGou Yang, Xianming Liu

78°

Turing-20B-A2B是20B参数的专家混合语言模型，每激活约2B参数。该模型采用分位数路由和动态top-k配置，支持长上下文和低延迟物理AI应用。模型结合了Lightning Attention和少量全注意力层架构，预训练阶段能力超过Qwen3-8B Base并接近Qwen3.5-9B Base。原生上下文长度为128K，推理时可扩展至512K。

AI模型 TuringLLM Turing-20B-A2B 专家混合模型

推荐理由：Turing团队发布20B参数专家混合模型，每激活2B参数，性能接近9B模型，支持超长上下文。

6月2日

12:04

12:04

官方账号arXiv cs.LG@Kaito Shiku, Ahtisham Fazeel Abbasi, Ryoma Bise, Yuichiro Iwashita, Kazuya Nishimura, Andreas Dengel, Muhammad Nabeel Asim

该研究提出了一种名为GC-MoE的新方法，用于从组织学图像和细胞位置预测单个细胞的基因表达，从而降低单细胞空间转录组学测量的成本。与现有方法不同，GC-MoE通过路由网络估计细胞类型概率，并软性地组合细胞类型特异性专家来预测基因表达，从而捕捉细胞间的表达变异性。该方法还引入了细胞类型特异性共表达感知预测器和轻量级细胞间交互注意力模块，以编码细胞类型依赖的基因程序。在公共单细胞空间转录组数据集上的实验表明，GC-MoE在性能上优于现有的单细胞和基于点的基线方法。这项工作为从组织学图像推断单细胞基因表达提供了更精确的工具，对生物医学研究具有重要意义。

论文空间转录组学专家混合模型细胞类型特异性

推荐理由：做空间转录组学或计算病理学的研究者可以直接用GC-MoE替代昂贵的单细胞测序，从常规组织切片中预测单细胞基因表达，省成本又提精度。