09:06
官方账号arXiv cs.LG@Niccolò Ajroldi, Diana Alexandra Onutu, Haider Al-Tahan, Jörg Franke, Sampo Pyysalo, Jenia Jitsev, Aaron Klein
73°
推荐理由：OpenEuroLLM团队开源了预训练研究，揭示了学习率和批量大小如何随模型和数据规模变化。
OpenEuroLLM
共 1 条相关 AI 资讯
8月31日
09:06
该研究分析了英语语料上预训练密集大语言模型的学习率和批量大小缩放行为。研究开发了捕捉学习率和批量大小与模型容量和数据规模关系的模型。研究评估了最近提出的缩放形式，发现它们能有效捕捉实验中的欠训练和过训练状态。研究建立了OpenEuroLLM模型开发的基准和缩放程序。