Attention Residuals 相关 AI 资讯 · AI 热点

7月17日

12:13

12:13

AI Will@FinanceYF5

精选

Kimi 发布 K3 模型，基于两个架构更新：Kimi Delta Attention（KDA）和 Attention Residuals（AttnRes），旨在改善长序列和深层网络中的信息流动。模型采用 Stable LatentMoE 框架，在 896 个专家中激活 16 个，大幅提升稀疏性。结合训练和数据优化，K3 的扩展效率相比 K2 提升约 2.5 倍，即更高效地将算力转化为智能。

AI模型 K3 Kimi Attention Residuals

推荐理由：Kimi 发了 K3，用 KDA 和 AttnRes 让长序列处理更流畅，MoE 专家数拉到 896 只激活 16 个，扩展效率翻倍，适合追新架构的朋友。