学术圈的架构实验常常算力不够、基线也对不上,这个平台用 scaling laws 让小实验先预测大模型的表现,还直接给了 Qwen3.5 和 OLMo3 基线。做模型架构研究的同学可以上去提交提案或复现别人被验证过的想法,不用每次都从头造轮子。
#scaling laws
这篇论文把大模型的涌现现象搬到了药物分子层面:只用序列训练的 Bonbon,不做任务监督就能自动学会找结合位点、判断共价与非共价。速度比共折叠快十万倍,湿实验命中率 61.5% 相当扎实。做药物设计或分子机器学习的都该看看。
Lambert 猜测算力放缓后效率提升会接棒,还引了 METR 的 AECI 数据,关心 scaling laws 的人可以看看。
斯坦福团队把基准题加提示变简单,再反推模型真实成绩,算力省了 5600 倍还能预测 GSM8K,做评测和选型的人可以看看这套方法。
Predicting benchmark scores without training large models changes how labs and buyers estimate model quality before committing compute budgets. The 5600x compute saving makes accuracy forecasting accessible to academic groups and startups that cannot run full-scale training runs. Teams evaluating whether to invest in a model capability can apply this method to get defensible projections at a fraction of the usual cost.
SWE-bench 上表现很强的 LMArena 团队创始人聊了点行业实话:抄 OpenAI 作业的新实验室大多活不下去,他押注的是那些挑战 Transformer 和下一词预测范式的团队,还点破了研究员创业的通病。
微软 AI 的 Mustafa Suleyman 说他们用少 12 倍的算力就在代码评测上追平了 DeepSeek-V4-Pro-Base,不过细节还没发,先看看数据再说。
Pretraining diffusion models across three modalities from scratch departs from the dominant recipe of finetuning a unimodal checkpoint, potentially simplifying how text, image and audio generation are unified in one architecture. Researchers and engineers working on discrete diffusion or multimodal models can reuse its scaling-law findings and sampling defaults. Apple's publication puts it in direct conversation with autoregressive approaches from labs like OpenAI and Google.
Course materials are fully open, so self-learners can rent GPUs on Modal and replicate assignments without Stanford enrollment. The exam-heavy design assumes students use AI agents for experiments, then test mastery without them — a template other educators may copy. It suits practitioners who want empirical intuition for LLM training behavior rather than another from-scratch coding course.
机器人世界模型也有缩放定律了,8B 参数的 RoboJEPA 能用计算量预测真机表现,还能零样本规划长时程任务,代码全开源,搞具身的建议看看。
做物理机器学习的朋友可以看看,论文给出在 ATLAS JetSet2 上跑扩展定律对比架构的具体配方,连学习率和 batch size 一起优化了。
This research reveals a critical threshold where AI contamination in training data becomes detrimental, challenging assumptions about data quantity versus quality. For developers and researchers working with language models, this provides concrete guidance on data curation strategies and highlights the growing importance of distinguishing between human and AI-generated text in training datasets.
这项研究拿 DeepSeek-R1-Distill 全系列做实验,结论挺扎心:模型变大只是解题能力强了一点,推理消耗的 token 一点没省,想靠堆规模提效率可能走不通。
研究人员提出了一种方法,能通过小模型实验,准确预测万亿 token 规模 MoE 模型的最优学习率,省去了大量计算成本。他们用 155B 参数的模型验证了方法的有效性。
Amodei下场聊AI权力集中,用自家支持的SB53法案做例子,说监管能帮小公司而不是只帮巨头。挺有料的。
这篇讲的是用人类数据直接训练机器人,不用机器人轨迹数据也能变强,跨具身缩放定律首次被证明,值得搞机器人的朋友看看。
Dyna Robotics搞了个Dyna-2,拿100万小时人类视频训练机器人,相当于170年经验,扩展定律还在涨,想了解机器人怎么靠数据起飞可以看看。
Dyna Robotics发了Dyna-2,用100万小时人类视频训练世界动作模型,相当于170年经验,扩展定律还在涨,做机器人的可以看看。
Dyna Robotics出了个新模型Dyna-2,用100万小时人类视频训练,相当于170年经验,机器人学习的新路子,值得看看。
Dyna Robotics 发了 Dyna-2,只靠看人类视频就能学会机器人操作,没碰过机器人数据也能越看越强,跟以前的做法很不一样。
Meta新论文搞了个Skaling law,比Chinchilla和Kaplan那套准1.5到3倍,而且小规模跑就能算准,预算算力能省不少。
Dyna Robotics放出了个叫Dyna-2的世界动作模型,用100万小时人类视频训的,能预测未来再行动,还发现了数据量越大越强的缩放规律,值得看看。
想搞异步RLHF训练的可以看这篇,把陈旧rollout对学习率的影响定量化了,推导了缩放条件,比经验调参更靠谱。
这项研究揭示了模型规模如何影响神经元的可解释性和专门化,对理解大模型内部机制和设计更高效架构的AI研究者有直接参考价值,建议关注其缩放定律的实践意义。
做 Agent 系统或智能体框架的开发者,别再只盯着 token 和调用次数了——这篇论文给出了一个更聪明的衡量标准,直接帮你判断系统是否真的在“学习”。建议点开看看 EFC 怎么算,能省不少试错成本。
MobileMoE解决了移动端大模型部署的算力与内存瓶颈,做端侧AI应用或手机端推理的开发者可以直接参考其架构和训练方案,实测性能提升显著。
香农缩放定律统一解释了LLM训练中的非单调退化现象,做模型缩放和训练优化的研究者可以直接用这个框架预测性能拐点,避免盲目增加计算量。
这项研究为LLM的事实回忆能力提供了可预测的缩放规律,做模型评估或训练数据设计的团队可以直接用这个规律来预估模型表现,值得关注。
时间序列领域终于有了可预测的缩放定律,做时序预测的团队可以像训练语言模型一样放心堆数据和算力,建议直接下载权重试试。
做 LLM 推理优化或复杂任务应用的团队,这条定律意味着你不需要等更大模型——加思考 token 就能直接提升效果,值得在现有模型上试试。
Meta 用实际数据证明了 Muse Spark 的预训练效率比 Llama 4 提升 10 倍以上,做模型训练或资源优化的团队值得关注其缩放定律方法,可以直接借鉴来评估自己的模型效率。