论文10:07
MoE 模型超参数高效迁移方法研究研究人员提出了一种方法，能通过小模型实验，准确预测万亿 token 规模 MoE 模型的最优学习率，省去了大量计算成本。他们用 155B 参数的模型验证了方法的有效性。
#超参数
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「超参数」标签的资讯、产品与论文，按刊登时间排，新的在上。
8月21日
研究人员提出了一种方法，能通过小模型实验，准确预测万亿 token 规模 MoE 模型的最优学习率，省去了大量计算成本。他们用 155B 参数的模型验证了方法的有效性。