美团发布LongCat-2.0:1.6T参数开源MoE模型,原生100万上下文和LongCat稀疏注意力

Meituan Releases LongCat-2.0: A 1.6T-Parameter Open MoE Model with Native 1M Context and LongCat Sparse Attention

精选理由

美团开源了1.6T参数的LongCat-2.0,激活参数480亿,原生支持100万token上下文,国内ASIC集群跑出来的,值得关注。

AI 摘要

美团发布LongCat-2.0,总参数量1.6万亿,每个token激活约480亿参数。模型原生支持100万token上下文,采用LongCat稀疏注意力机制。训练与推理均在国内AI ASIC超算集群上完成。该模型开源,API已开放访问。

AI 翻译 · 中文

美团发布LongCat-2.0,总参数量1.6万亿,每个token激活约480亿参数。模型原生支持100万token上下文,采用LongCat稀疏注意力机制。训练与推理均在国内AI ASIC超算集群上完成。该模型开源,API已开放访问。

marktechpostMeituan has released LongCat-2.0, a 1.6 trillion-parameter Mixture-of-Experts model that activates about 48 billion parameters per token. It pairs a native 1-million-token context, built on LongCat Sparse Attention, with