#缩放定律

共 21 条 · 7 天 1 条 · 30 天 4 条

Dyna-2 2 Dyna Robotics 2 世界模型 2 具身智能 2 预训练 2 AI代币 1 AI监管 1 Amodei 1

信息流里打上「缩放定律」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月8日

论文 Agent 与开发者11:28

RoboJEPA：8B 参数机器人世界模型，首次给出计算量缩放定律

机器人世界模型也有缩放定律了，8B 参数的 RoboJEPA 能用计算量预测真机表现，还能零样本规划长时程任务，代码全开源，搞具身的建议看看。

#RoboJEPA #JEPA #世界模型 #机器人

事件专题

arXiv cs.AI@Artem Zholus 等 12 人2 个信源在谈原文

10月1日

论文 Agent 与开发者精选19:23

AI代币价值研究：网络文本中的缩放定律

新研究揭示AI代币在模型训练中的价值变化，提出能预测不同规模模型效果的缩放定律。

#AI代币 #缩放定律 #语言模型 #预训练

Tanishq Abraham (论文推介)@iScienceLuvr原文

9月29日

论文 Agent 与开发者13:52

ScAn-Bench 基准发布：系统评估缩放定律研究方法

研究者用四千多个模型检查点做了两套基准，专门测缩放定律的推导方法靠不靠谱，做 scaling 实验前可以先看看。

#ScAn-Bench #缩放定律 #基准测试 #多模态

arXiv cs.LG@Artin Sermaxhaj 等 7 人原文

9月25日

论文09:48

层级贝叶斯分析显示：推理模型规模扩大能力递减，效率几乎不变

这项研究拿 DeepSeek-R1-Distill 全系列做实验，结论挺扎心：模型变大只是解题能力强了一点，推理消耗的 token 一点没省，想靠堆规模提效率可能走不通。

#DeepSeek-R1-Distill #推理模型 #层级贝叶斯 #Chain-of-Thought

arXiv: DeepSeek@Moritz Laber 等 9 人原文

8月21日

论文10:07

MoE 模型超参数高效迁移方法研究

研究人员提出了一种方法，能通过小模型实验，准确预测万亿 token 规模 MoE 模型的最优学习率，省去了大量计算成本。他们用 155B 参数的模型验证了方法的有效性。

#Mixture-of-Experts #MoE #超参数 #学习率

arXiv cs.LG@Nayeon Kim 等 5 人原文

8月16日

行业政策与合规多源确认15:05

Amodei谈AI权力集中：缩放定律非物理定律，监管应偏向小公司

Amodei下场聊AI权力集中，用自家支持的SB53法案做例子，说监管能帮小公司而不是只帮巨头。挺有料的。

#Anthropic #Amodei #AI监管 #缩放定律

事件专题

Amjad Masad@amasad11 个信源在谈原文

8月12日

论文04:03

人类数据直传机器人，跨具身鸿沟缩放定律首次被证实

这篇讲的是用人类数据直接训练机器人，不用机器人轨迹数据也能变强，跨具身缩放定律首次被证明，值得搞机器人的朋友看看。

#具身智能 #缩放定律 #机器人学习 #人类数据

AI Will@FinanceYF5原文

模型精选00:40

Dyna-2：仅用百万小时人类视频训练，零机器人数据也能提升机器人任务表现

Dyna Robotics 发了 Dyna-2，只靠看人类视频就能学会机器人操作，没碰过机器人数据也能越看越强，跟以前的做法很不一样。

#Dyna-2 #Dyna Robotics #世界动作模型 #具身智能

AI Will@FinanceYF5原文

8月11日

论文政策与合规07:52

Meta新论文提出Skaling law：耦合容量与数据的新缩放定律

Meta新论文搞了个Skaling law，比Chinchilla和Kaplan那套准1.5到3倍，而且小规模跑就能算准，预算算力能省不少。

#Meta #Skaling law #Chinchilla #缩放定律

elvis@omarsar0原文

模型精选03:32

Dyna-2世界动作模型：100万小时人类视频训练发现新缩放定律

Dyna Robotics放出了个叫Dyna-2的世界动作模型，用100万小时人类视频训的，能预测未来再行动，还发现了数据量越大越强的缩放规律，值得看看。

#Dyna-2 #Dyna Robotics #世界模型 #缩放定律

elvis@omarsar0原文

7月28日

技巧 Agent 与开发者多源确认14:09

每天学一个硬核AI知识：Scaling Laws 缩放定律

想搞懂大模型为什么越训越大？这个视频用动画讲清Scaling Laws的缩放规律，比看论文容易多了。

#Scaling Laws #缩放定律 #训练策略 #大模型知识

事件专题

向阳乔木@vista83 个信源在谈原文

7月2日

论文11:50

异步RLHF中陈旧性与学习率的缩放定律

想搞异步RLHF训练的可以看这篇，把陈旧rollout对学习率的影响定量化了，推导了缩放条件，比经验调参更靠谱。

#RLHF #GRPO #异步训练 #缩放定律

arXiv cs.LG@Jingwei Song 等 11 人原文

6月13日

论文精选13:28

Dan Fu在斯坦福CS336客座讲座：KV缓存、Megakernels与Parcae缩放定律

Dan Fu讲KV缓存和Parcae新缩放定律

#KV缓存 #Megakernels #Parcae #缩放定律

官方账号Together AI@togethercompute原文

6月4日

论文精选76°11:02

StreamMA：流式通信加速多智能体推理，效果也更好

做多智能体系统或推理管线的开发者，StreamMA 用流式通信同时解决了延迟和效果问题，值得直接参考实现思路。

#多智能体 #推理系统 #流式通信 #延迟优化

arXiv cs.AI@Zhen Yang 等 6 人原文

6月3日

论文精选10:46

神经元群体随模型规模呈现分化选择性

这项研究揭示了模型规模如何影响神经元的可解释性和专门化，对理解大模型内部机制和设计更高效架构的AI研究者有直接参考价值，建议关注其缩放定律的实践意义。

#缩放定律 #神经元可解释性 #Rosetta神经元 #模型规模

arXiv cs.LG@Amil Dravid 等 4 人原文

5月27日

论文精选76°10:30

MobileMoE：面向设备端部署的MoE语言模型，0.3B-0.9B活跃参数

MobileMoE解决了移动端大模型部署的算力与内存瓶颈，做端侧AI应用或手机端推理的开发者可以直接参考其架构和训练方案，实测性能提升显著。

#MoE #移动端部署 #缩放定律 #量化训练

arXiv cs.AI@Yanbei Chen 等 8 人原文

5月25日

论文精选11:12

香农视角下的LLM容量与缩放定律：噪声信道模型

香农缩放定律统一解释了LLM训练中的非单调退化现象，做模型缩放和训练优化的研究者可以直接用这个框架预测性能拐点，避免盲目增加计算量。

#缩放定律 #香农容量 #噪声信道 #LLM训练

arXiv cs.AI@Xu Ouyang 等 8 人原文

5月19日

论文精选14:27

LLM事实回忆可预测：模型大小与主题频率决定

这项研究为LLM的事实回忆能力提供了可预测的缩放规律，做模型评估或训练数据设计的团队可以直接用这个规律来预估模型表现，值得关注。

#缩放定律 #事实回忆 #模型大小 #训练数据频率

arXiv cs.AI@Matthew L. Smith 等 5 人原文

5月16日

模型精选73°14:05

Datadog 发布 Toto 2.0 时间序列基础模型，验证缩放定律

时间序列领域终于有了可预测的缩放定律，做时序预测的团队可以像训练语言模型一样放心堆数据和算力，建议直接下载权重试试。

#时间序列基础模型 #缩放定律 #开源/仓库 #Datadog

官方账号Clement Delangue@ClementDelangue原文

5月15日

论文08:58

Second Scaling Law 持续有效：增加思考 token 提升 LLM 性能

做 LLM 推理优化或复杂任务应用的团队，这条定律意味着你不需要等更大模型——加思考 token 就能直接提升效果，值得在现有模型上试试。

#缩放定律 #推理模型 #思考 token #LLM 性能

Ethan Mollick@emollick原文

5月14日

模型中美对照精选18:29

Meta 发布 Muse Spark：预训练效率超 Llama 4 一个数量级

Meta 用实际数据证明了 Muse Spark 的预训练效率比 Llama 4 提升 10 倍以上，做模型训练或资源优化的团队值得关注其缩放定律方法，可以直接借鉴来评估自己的模型效率。

#Muse Spark #Llama 4 #预训练 #缩放定律

官方账号Meta AI@AIatMeta原文