AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：低秩矩阵×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月19日
20:02
20:02AlphaSignal@AlphaSignalAI
88°
NVIDIA 与牛津大学联合发表论文，提出 EGGROLL 方法，将进化策略（Evolution Strategies）扩展到十亿参数模型，无需反向传播即可训练。该方法用两个低秩矩阵替代密集随机扰动矩阵，大幅降低内存消耗，达到纯推理吞吐量的 91%。EGGROLL 支持数十万并行变异，可与不可微分组件配合，在推理任务上与 GRPO 竞争。团队还训练了纯 8 位整数循环语言模型 EGG，非线性来自整数溢出裁剪，而非激活函数，预训练时种群规模超过百万。
论文进化策略反向传播NVIDIA低秩矩阵整数训练
推荐理由：这项研究打破了深度学习十年来的反向传播依赖，做大规模模型训练或非可微分任务（如强化学习、神经架构搜索）的团队可以直接关注 EGGROLL，它可能改变你构建模型的方式。
原文