02:35
Thomas Wolf@Thom_Wolf
Thomas Wolf@Thom_Wolf精选
推荐理由：你看看GLM - 5.3这发布，把模型参数和训练规律讲得很透，跟以前那些大模型比，它在参数分配上更合理，以后搞类似项目能参考下。
参数优化
共 1 条相关 AI 资讯
8月20日
02:35
GLM - 5.3 总参数量与训练数据比例遵循Chinchilla规律，体现参数和数据的最佳关联。该模型有效深度调整后，参数达290 tokens per parameter左右，提升训练效率。对比GPT - 3等早期模型，GLM - 5.3在计算分配上更科学，减少资源浪费。