OLMo 相关 AI 资讯 · AI 热点

7月10日

11:44

11:44

官方账号arXiv cs.LG@Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag

论文检验了LLM中“超级权重”（单参数移除后性能骤降）的存在性，发现这并非所有模型通用。在OLMo-1B和OLMo-7B上，单独训练100到8192个超级权重参数，精度降至随机猜测水平；即便扩展至周围36000个参数也无改善。相比之下，随机选取同层同等数量参数训练反而能提升基准。使用仅占0.16%参数的vanilla LoRA（更新注意力权重矩阵）成功微调，且施加于超级权重坐标的LoRA约束效果类似。结论指出参数重要性不等同于单独可训练性，有效微调需要基于全层的结构化分解。

论文 Super Weight LoRA OLMo 推理模型微调

推荐理由：这篇论文打脸了“超级权重”的主张：单独训练它们反而让模型崩成随机猜，而LoRA用极少的参数就能搞定。想了解模型微调真正该关注什么，必看。

7月3日

11:55

11:55

官方账号arXiv cs.AI@Matteo Boglioni, Thibault Rousset, Siva Reddy, Marius Mosbach, Verna Dankers

LACUNA是首个具有参数级真实定位的遗忘测试床，通过掩码连续预训练将合成PII注入OLMo 1B和7B模型的预定义参数。评估发现现有SOTA遗忘方法在输出层面表现良好，但定位不精确，易受重新浮出攻击恢复已擦除知识。当遗忘精确定位相关参数时，简单梯度法也能实现强擦除并抵御重浮攻击。该测试床旨在补充行为评估，推动鲁棒遗忘方法发展。

论文 LACUNA OLMo 遗忘学习 PII 模型安全

推荐理由：想知道LLM遗忘是否真擦除了参数中的知识？LACUNA首次提供参数级验证，发现现有方法定位不准，容易复活。

6月16日

14:20

14:20

官方账号AlphaSignal@AlphaSignalAI

73°

研究人员证明某些任务需要模型缩放而非数据缩放，小模型即使拥有无限数据也无法学会这些任务。原因在于神经元竞争：频繁任务优先抢占容量，稀有任务的梯度在下次更新前被覆盖，导致模型陷入学习后遗忘的循环。团队预训练了参数从4M到4B的OLMo模型，在训练中注入可控频率的新任务。只有最大的4B参数模型成功学会了稀有任务，干扰梯度几乎消失。

论文 OLMo 模型缩放梯度神经元竞争稀有任务学习

推荐理由：这项研究用OLMo模型从4M到4B参数实验，直观解释了为什么小模型学不会稀有任务——不是数据不够，是神经元竞争导致梯度被覆盖。