9月1日
10:14
10:14官方账号arXiv cs.AI@Yuheng Zhang, Yizhao Wang, Da Zhu, Hua Zhou, Yue He, Jiahui Hu, Shaman Tang, Hanlin Chen, Yuhua Wei, Anhua Liu, Shuang Su, Rui Xin, MingYuan Wang, MingHao Li, HaoJie Yang, Siqi Liu, Jianlei Zheng, WeiChao Huang, Qiman Wu, Hang Zhang, HongGou Yang, Xianming Liu
78°
Turing-20B-A2B是20B参数的专家混合语言模型,每激活约2B参数。该模型采用分位数路由和动态top-k配置,支持长上下文和低延迟物理AI应用。模型结合了Lightning Attention和少量全注意力层架构,预训练阶段能力超过Qwen3-8B Base并接近Qwen3.5-9B Base。原生上下文长度为128K,推理时可扩展至512K。
推荐理由:Turing团队发布20B参数专家混合模型,每激活2B参数,性能接近9B模型,支持超长上下文。