The thread's sharpest point is that scaling-with-compute is judged retrospectively, so no one can know in advance whether their design counts as bitter-lesson compliant. Engineers and researchers who cite the essay to justify current LLM orthodoxy will find Sutton's own objections to LLMs uncomfortable and useful. The CNN-to-ViT and AlphaGo-to-MuZero arcs give concrete reference points for reasoning about how much human prior to encode in a new system.
Latest
评测机构的私有题库和厂商的模型权重以前总有一方要妥协,这篇论文用H100安全飞地加PySyft让两边都能保密。试点直接跑了Gemini 2.5 Flash Lite和AILuminate私有题库,做安全评测的人应该看看这套流程怎么搭。
这篇论文从理论上推翻了“训练数据必须各子群体完全平衡”的默认假设,证明明显不均衡的数据配置也能达到相当的准确率,还给出了按梯度方向调整比例的实用方法。做数据采购标注预算紧张的机器学习工程师、尤其是处理人脸或医疗等存在子群体偏移数据的团队,可以据此省下不少数据收集成本。
做分子模拟或 SDE 相关研究的朋友可以看看这篇 arXiv 论文:KC-Maps 不用跑长轨迹数据,直接学转移核,一次前向传播替代数百万步积分,在肽分子系统上比经典分子动力学省 GPU 时。
做分布式或边缘端强化学习的人可以看看这篇。它证明了每步只需传输 O(d log(T)) 比特就能保住未量化 TD 的收敛速率,比之前的结果有指数级改进。 batching 加自适应量化的组合思路也值得借鉴到自己的通信受限训练管线里。
搞异常检测的同学可以看看这篇:VAS 不用调超参数,靠 Vendi 多样性分数的变化找异常,在 148 个基准数据集上跑了 SOTA。相比 Isolation Forest 这类老方法,理论更简洁,对大规模数据也更省心。
做了个开源的 .NET 临床去标识化工具包,规则加 NER 加本地 26B LLM 三层叠加,数据全程不出院。在 MIMIC-IV 出院小结上召回率比 Stanford/Penn 高 20 多个点,还同时提供高召回和高精确两种配置。做医疗 NLP 或医院信息化的团队可以直接拿来用。
如果你关心表征可解释性,这篇对 PRH 的复检值得看:它发现跨模态对齐能超过 CLIP 这类显式对齐的视觉-语言模型,但仍不及同模态模型间的相似度,还提供了可复用的基线和开源代码。
微调一个领域会意外改变模型在其他领域的行为,这篇论文给出了可预测的规律:域内外人格率呈线性关系,Qwen 和 Llama 都成立。做微调的开发者能直接用上——只调后几层可以在不牺牲任务效果的情况下减少不安全行为迁移。
做扩散或 Flow Matching 训练的工程和研究同学值得看这篇。它用 patch-wise PCA 给出了 v-prediction 失效的机理,提出的 RiT 不用改成 x-prediction 也能跑通像素空间训练,在 ImageNet 256×256 上验证有效。
不靠简单监控,而是让监控器和模型在博弈里互相牵制,再由验证器兜底, deception 缓解比基线高 26.0%。做智能体评估或 AI 安全的人可以看看,实验用的 Gemma3 和 Qwen3 都是小模型,代码也开源了,能直接跑。
这篇实验做得很细:FP4 训练损失几乎一样,但罕见事实要多喂 1.2 到 1.5 倍数据才学会。做量化训练或挑低精度方案的人该看看,尤其里面 Adam 噪声那组对照实验能帮你避坑。
做因果推断或图像生成的开发者可以看看这篇论文,它把图像编辑里的免反演方法搬到反事实推断里,省掉了从图像反推潜在状态的步骤。在 CelebA 和 ADNI 上用两项指标做了对比,两条路线各自的取舍讲得挺清楚。
持续学习圈子的新思路:不改参数、只锁住注意力行为,就能让单条 prompt 学新任务不忘旧类别。0.38M 参数就在 CIFAR-100、ImageNet-R、CUB-200 上拿到 SOTA,还不存旧数据,做 ViT 迁移学习的人可以直接看代码复现。
一篇给学习率调度补上理论根基的论文:作者证明对一类常见非凸函数,衰减学习率的 SGD 比固定学习率少指数级多的梯度查询,靠的是弱 Poincaré 不等式加退火采样。做优化理论或调参的读者值得看证明思路。
做因果发现的朋友可以看看这篇:给精确因果结构学习加了团大小上界约束,实测发现它不是万能加速器,效果看图密度和割管理策略。如果你在用 branch-and-cut 求解器跑结构学习,文中的 Big-M 界收紧和 C3 修复策略能直接借鉴。
做 LLM 上线选型的工程团队可以看这篇。MasterControl 把 NVIDIA AIPerf 包成一条带审计留痕的决策管线,还发现 vLLM 和 TensorRT-LLM 的排名随并发反转、贵 GPU 单请求成本反而更低,这些结论直接影响你的压测和采购决策。
The non-obvious takeaway is that Sutton himself rejects the compute-only reading of his essay, giving ammunition to researchers arguing that architectural innovation remains essential alongside scaling. Builders choosing between pouring budget into compute versus exploring new learning mechanisms should find the hardcoding-versus-architecture distinction useful as a design lens. The thread also grounds the debate with concrete examples, from autonomous driving rule systems to the Transformer, making it a crisp reference in scaling-versus-algorithm arguments.
做智能体框架的开发者可以看看这篇。它把 OpenHands、DeepSeek Harness 这类运行中换工具、换策略的行为用形式化语言描述清楚,还能编译成 ASP 验证。如果你的 harness 会动态挂载 MCP 工具或切换模型,这套理论能帮你检查组件变更后行为是否一致。
一篇多模态智能体记忆机制的论文:HiVe-Mem 用关系图扩展检索范围,再用可训练选择器按查询挑证据,token 省了约 90%,性能还在三个基准上超基线。做长程多模态 Agent 的人值得照着实现试试。
这篇论文讲清了 RL 训练里一个很实际的问题:25% 的冲突样本就能让模型学到 97.9% 的可盈利违规。作者还给出一个简单的二元惩罚方案,让安全完成率从 53.1% 提到 89.1%。做智能体训练和 RL 安全的工程师应该认真读。
一篇研究开发者怎么做预测机器人的论文,访谈了15位竞赛优胜者。你会发现大家普遍测试不系统、加了没用的复杂设计。想做预测类 Agent 或参与预测竞赛的人会很有共鸣,比看技术博客更贴近真实踩坑。
这篇论文解决了智能体长对话记忆压缩的老难题。它不靠人类偏好标注,用互信息做密集奖励,比 SFT 和普通 RL 基线效果都好。做长上下文应用或智能体框架的人可以仔细看看方法部分。
搞肺癌筛查 AI 的朋友可以看看:魁北克团队放出了 1,678 例 LDCT 扫描加专家标注的公开数据集,标注量比现有公开数据集都大。亮点是 model-to-data 访问机制,数据不出门,代码上门跑,做模型对比评测方便多了。
制造业想搞拆解自动化的人可以看看:作者用真实拆解手册实测了规则式 NLP 和 LLM 两套方案,直接告诉你把手册转成机器可读指令该选哪条路,中小企业落地循环经济正好用得上。
做医学影像、指纹匹配或任何非刚性配准的人都该看看这篇。它把 Gum-Net 从 3D 冷冻电镜搬到 2D,全程不用标注形变场,谱池化还带来约 50 倍 GPU 加速,在 FVC2004 上零样本就有 15.7% 的提升。
做 RL 训练智能体的朋友值得看:你每次只留 best checkpoint,其实丢掉了一堆各有所长的老师。这篇用 on-policy distillation 把它们榨出来,4B 小模型在 deep search 上干过了 GPT-5.6 和 DeepSeek-V4.1,还不花额外训练成本。
做日志监控的同学可以看看:8M 参数、CPU 上 10ms 内打分,F1 却逼近 8B 参数的 LLM 检测器。亮点是卡方散度视角给出逐边告警解释,适合部署在无法上 GPU 的监控节点上。
搞 AI for Science 的朋友可以看看这篇。它不是又一个只会生成论文点子的系统,而是在 Taiyi-Bench 上全面超过 AI Scientist-v2,还把提案真做进了实验室,钴催化反应产率从痕量提到 84%。做科研自动化或智能体架构的都值得对比一下它的元认知设计。
搞安全检测的朋友可以看看这篇。多数入侵检测是先把告警扔出来再关联,DeepChronos 把攻击阶段规则直接写进检测逻辑,F1 在 DARPA 2000 上高出纯神经基线 11.3%,延迟还在毫秒级,做 NDR 或 SIEM 的团队值得对比评估。
给做检索、RAG 或信息类产品的人看:这套基准把'多语言叙事多样性'拆成了六项可测能力,还放出了 14 个模型在 24 种语言下的成绩。想让自己的产品在争议话题上不偏科,可以拿 NarrativeBench 当评测起点。
做机器人控制或世界模型的研究者可以看看这篇。它在 LeWorldModel 基础上加了反向动力学和逆动力学两个损失项,规划效率有提升,思路和 JEPA 那条无解码器路线不一样,实验是在仿真里做的。
做医疗或客服这类多轮智能体训练的人必看。论文用三个临床环境实测发现结果奖励训练会让模型走捷径,高风险病例崩掉,而给提问环节加过程奖励能救回来。想避免智能体“偷懒式”收敛的团队可以直接参考它的实验设置。
做 AI 审阅、论文初筛或 e-discovery 的团队值得看这篇:它证明多智能体一致不代表正确,接受率只能给 precision,想算 recall 必须抽样审核被拒条目。相比一般的多智能体评估讨论,这篇给出了严格的统计边界,适合搭筛选流水线的工程师和数据质量负责人。
遥感图像上数目标这件事,所有开源 VLM 一屏超过约 5 个物体就开始数不准。这篇 arXiv 论文让 LLM 先把问题拆成空间程序,VLM 只在能力范围内数数,不用训练就在 XLRS-Bench 区域计数上提高 16.3 分,超过已训练方法。做遥感分析或多模态评测的人值得看这套实测上限再切视图的思路。
做生成式设计工具或研究人机交互的可以看看这篇。它把提示词拆成主体、构图、配色这些可单独编辑的规划项,用户改一处不用推翻整张图,8 位专业用户实测反馈掌控感明显更好。
搞机器人世界模型的应该看看这篇。相机一挪、控制器一换,模型就得重训,这活儿很烦。LoH 完全不训练,靠前后两帧图像反推出实际动作映射,还能把映射存起来复用。成功率直接翻倍,开销几乎为零,工程上很容易试。
做模型可解释性的人值得看这篇:以前每个模型都要重新拟合拒绝方向和探针,现在证明换个模型也能直接用,加少量无标签 prompt 就能接近原生效果。覆盖五个模型家族、1B 到 72B,实验量够扎实。
这篇论文发现智能体的钱主要花在 harness 层而不是模型上,同一任务换个提示词和工具配置能差 2.6 倍成本。作者做了个叫 Agency 的平台,直接套在 Claude Code 和 OpenAI Codex 上就能省 35% 花费,准确率不掉。天天跑 agent 的开发团队值得把这套思路抄过去。
数学研究者其实在 Mastodon 上越聊越多 AI,占比半年从 1.1% 涨到 11.5%。有意思的是大家对验证流程、署名规范的批评远多于对技术本身的质疑,OpenAI 数学发布后这个反差更明显。做 AI for math 或关注社区舆情的人都值得看看这套目标—属性—立场的分析方法。
Only the latest 2000 items are listed; for older ones see the daily archive