02:33
宝玉@dotey
宝玉@dotey81°
推荐理由：杨植麟把用了十年的优化器、注意力、残差连接全换了：MuonClip数据效率翻倍，Kimi Linear百万Token不掉分，Agent Swarm能并行100个智能体，开源模型离闭源又近了一步。
MuonClip
共 1 条相关 AI 资讯
7月18日
02:33
月之暗面在GTC 2026演讲中提出用MuonClip替代Adam（2014）、Kimi Linear替代注意力机制（2017）和Attention Residue替代残差连接（2015），全部开源。MuonClip在万亿参数模型上训练超15万亿Token且无loss spike，数据利用效率接近翻倍。Kimi Linear采用KDA线性注意力，按3:1比例混合全注意力，在短、长输入和输出任务上全面超越标准全注意力。Agent Swarm在K2.5上支持100个Agent并行（K2.6升级至300个），通过实例化、完成和最终结果三种奖励训练并行协作。早期融合多模态训练混合15万亿Token，使视觉训练显著增强了文本能力。