AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP

梯度

共 2 条相关 AI 资讯
6月18日
17:02
17:02李继刚@lijigang_com
分享者提出用AI从媒介、梯度、Build三个角度辅助孩子学习。通过图片、视频、游戏等多媒体形态加深理解;针对每个孩子的理解水平生成符合「最近发展区」的题目;鼓励孩子边学边创造,如制作游戏、网页、小程序并分享给同学。这种方法可以提升学习效果并培养创造习惯。
技巧学习技巧教育AI媒介梯度创造

推荐理由:三个具体可操作的角度,直接用AI帮孩子学习,比光讲理论实在。
原文
6月16日
14:20
14:20官方账号AlphaSignal@AlphaSignalAI
73°
研究人员证明某些任务需要模型缩放而非数据缩放,小模型即使拥有无限数据也无法学会这些任务。原因在于神经元竞争:频繁任务优先抢占容量,稀有任务的梯度在下次更新前被覆盖,导致模型陷入学习后遗忘的循环。团队预训练了参数从4M到4B的OLMo模型,在训练中注入可控频率的新任务。只有最大的4B参数模型成功学会了稀有任务,干扰梯度几乎消失。
论文OLMo模型缩放梯度神经元竞争稀有任务学习

推荐理由:这项研究用OLMo模型从4M到4B参数实验,直观解释了为什么小模型学不会稀有任务——不是数据不够,是神经元竞争导致梯度被覆盖。
原文
精选全部日报登录