精选理由
Kimi 发了 K3，用 KDA 和 AttnRes 让长序列处理更流畅，MoE 专家数拉到 896 只激活 16 个，扩展效率翻倍，适合追新架构的朋友。
Kimi 发布 K3 模型，基于两个架构更新：Kimi Delta Attention（KDA）和 Attention Residuals（AttnRes），旨在改善长序列和深层网络中的信息流动。模型采用 Stable LatentMoE 框架，在 896 个专家中激活 16 个，大幅提升稀疏性。结合训练和数据优化，K3 的扩展效率相比 K2 提升约 2.5 倍，即更高效地将算力转化为智能。
原文 · AI Will
K3 基于两个架构更新： Kimi Delta Attention（KDA） Attention Residuals（AttnRes） 它们主要用于改善信息在长序列和模型深度中的流动方式。 Ki...
K3 基于两个架构更新： Kimi Delta Attention（KDA） Attention Residuals（AttnRes） 它们主要用于改善信息在长序列和模型深度中的流动方式。 Kimi 还扩大了 MoE 稀疏性。 配合 Stable LatentMoE 框架时，模型会在 896 个专家中激活 16 个。 再加上训练和数据配方优化，整体扩展效率相比 K2 提升约 2.5 倍。 也就是能更高效地把算力转化为智能。 💬 1 🔄 0 ❤️ 0 👀 35 📊 1 ⚡