AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:可塑性×
6月16日
20:46
AITOP6月16日 20:46
600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI
6月12日
12:57
AITOP6月12日 12:57
Claude代码里藏了个20260612,18个月后的AI记忆革命已经开始倒计时
6月11日
15:28
AITOP6月11日 15:28
1107 vs 303:谷歌悄悄开源了一个“拆打字机”的模型,把大模型速度翻了4倍
15:23
AITOP6月11日 15:23
DiffusionGemma颠覆文本生成?自回归模型的“统治”要结束了
15:07
AITOP6月11日 15:07
每秒1107个token,Google开源的扩散模型为什么能改变本地推理格局?
6月9日
12:34
12:34arXiv cs.LG@Andries Rosseau, Robert Müller, Ann Nowé
精选
深度神经网络在非平稳环境下的持续训练常导致可塑性逐渐丧失,限制进一步学习。本文首次将可塑性与经验神经正切核联系起来,并识别出动态等距性(各层雅可比奇异值接近1)是保持持续学习可塑性的关键机制。作者重新审视了一类几乎处处等距且保持通用Lipschitz函数逼近能力的网络,证明近动态等距性与表达性非线性表示兼容。针对通用架构,提出了高效的等距促进正则化方案,并发现其能重新激活休眠的ReLU单元。基于此,开发了AdamO优化器,将等距正则化与梯度更新解耦。在多个持续学习基准上,该方法一致匹配或超越现有方法。
论文持续学习可塑性动态等距性优化器AdamO

推荐理由:持续学习中的可塑性丧失是困扰AI训练的核心难题,本文从理论到实践给出了新解法——做持续学习、强化学习或终身学习的开发者,值得关注这个等距性视角。
原文
精选全部日报登录