精选理由
Moonshot AI 把 2.8 万亿参数的 Kimi K3 开源了，用了新注意力机制，还有 1M 上下文，直接看技术细节就对了。
2026年7月16日，Moonshot AI 发布了 Kimi K3 模型，参数规模达2.8万亿。该模型采用 MoE 架构，包含896个专家，每次推理激活其中16个。Kimi K3 引入了 Kimi Delta Attention 和 Attention Residuals 机制，支持100万token的上下文窗口。模型以开源形式发布。
原文 · marktechpost
Moonshot AI Releases Kimi K3: A 2.8 Trillion Parameter Open MoE Model With Kimi Delta Attention and 1M Context
Moonshot AI released Kimi K3 on July 16, 2026. It is a 2.8-trillion-parameter open MoE model built on Kimi Delta Attention and Attention Residuals, activating 16 of 896 experts. The post Moonshot AI Releases Kimi K3: A 2.8 Trillion Parameter Open MoE Model With Kimi Delta Attention and 1M Context appeared first on MarkTechPost .