Averaged benchmark scores can manufacture a coherent moral hierarchy that no individual model inference actually exhibits, so alignment scores may overstate real consistency. Teams building safety evaluations or compliance checks for deployed models should replicate this pairwise-probability method before trusting aggregate scores. The inclusion of GPT-5.2, Gemini, and DeepSeek makes the finding directly relevant to cross-lab model selection.
Latest
跑过 NLI 或文本分类的朋友可以看看这篇。它测了 Gemma 2、Mistral 7B、Llama 3.1 这些小模型,结论很省心:一条直接提示加 1 个示例,效果和 15 个示例差不多,还超过了已发表的采样方法,调提示词的成本能砍掉一大截。
这篇论文把 RSI 安全问题做成了可分析的博弈模型,结论挺有意思:高风险时两家同时踩刹车反而是稳定策略。做 AI 安全研究或关注政策的人可以看看它的论证结构。
The non-obvious insight is that diversity across teams matters more than depth within one team — a parallel small-team structure dominates both axis of scaling at the same cost. Engineers building verification-scored agent workflows can apply the recipe directly with no new infrastructure, just a partitioning change. Compared with standard best-of-N with a verifier, which plateaus quickly, this topology offers a concrete way to squeeze more accuracy from the same token budget.
公司现在流行拿 token 消耗给工程师排名,这篇 CMU 和 JetBrains 的论文用 404 名工程师的数据说明这么测不准:花得多人产出未必多。管工程团队、定 AI 预算的人都该看看怎么改考核方式。
OpenAI 在千禧年难题 Yang-Mills 上的构造,这次是被独立数学工作组验证过的,不是官方自夸。搞数学、物理或想看模型到底能做多深的推理的朋友,可以去看看验证细节。
The counterintuitive finding is that memory can be a liability, not just an asset, for agents — a failure mode most memory frameworks do not test for. Builders of long-running agent systems should treat provenance and traceability of stored lessons as a design requirement rather than an afterthought. The benchmark spread across five environments makes the results easy to compare against your own memory stack.
Evaluating the full product instead of the bare model changes which dictation tools look good, and this benchmark shows the gap can be wide, with Apple's offering far behind Wispr Flow on the same task. Developers and teams who dictate into editors or coding prompts can use the whitepaper to shortlist apps worth testing in their own workflow. Anyone comparing dictation options on macOS now has an open, inspectable baseline instead of vendor accuracy claims.
CSET 挖了 2,000 多份公开采购文件,把解放军在地面、海上、太空三个方向的机器人采购都翻了出来。想搞懂中国军方无人装备从哪来、买什么,这份报告给了可核实的原始数据线索,做防务或政策分析的人值得下载全文看细节。
Stanford HAI 每五年请一批专家系统评估一次 AI 领域,这次是第三份。想搞清楚 2021 年到现在哪些方向真的变了、scaling 接下来还能走多远,这份报告是权威参考,做行业研究的话可以直接读原文。
The efficiency gap is the real story: verification work that historically took decades of expert effort was compressed into weeks by prover agents, suggesting formal methods may spread beyond niche kernels into mainstream security libraries. Security engineers and cryptography teams should watch this workflow, since spec-plus-prover pipelines could be applied to their own critical code. The check is still delegated to Lean, so trust rests on spec quality rather than the model alone.
如果你在玩 KAN 或者函数回归,这个库挺有意思:曲线参数可以直接放进训练循环里一起优化,不用自己写 B 样条求值。作者还拿 EfficientKAN 做了性能对比,什么时候开销大会吃亏都说清楚了,写 PyTorch 自定义层的可以参考实现思路。
训练 RL 模型时奖励只有一个数字,浪费了大量信息。这篇让教师模型自动写提示和策略当脚手架,四类任务全赢过普通 RL 基线,数学只用三分之一步数就超过 QuestA。做后训练的工程团队可以直接参考这套自动化方案。
搞药物发现或计算化学的可以看看这篇:专家靠 3D 工具和物理打分排序分子构象几乎等于瞎猜,而两个 LLM 智能体分别做到 67% 和 74%。用代码生成特征做回归这套路子,比直接让模型推理更有效,开源模型经 GRPO 微调后还能追平闭源模型。
做神经形态或连接组建模的值得细看:同一份 Drosophila 连线数据,调参协议一换,"真实连线更好"能翻转成更差,差距都是 0.09 量级。文章把 P1/P2/P3 三种协议拆得很清楚,还给出 44% alpha'beta' 占比这个反例。想引用"结构决定功能"类论文的人,最好先照这套协议自查一遍。
这个基准把记忆型和权重型学习放进同一条 ARC-AGI 任务流里打分,结论挺扎心:单纯加记忆的 agent harness 还不如缓存演示的笨基线,泛化还是得靠改权重。做长期记忆和智能体框架的人应该看看,它给了可复现的评测管线。
这篇论文把大模型的涌现现象搬到了药物分子层面:只用序列训练的 Bonbon,不做任务监督就能自动学会找结合位点、判断共价与非共价。速度比共折叠快十万倍,湿实验命中率 61.5% 相当扎实。做药物设计或分子机器学习的都该看看。
做 VLM 推理优化的开发者可以看看这篇。它不训模型,靠按问题选裁剪还是压缩来省算力,FLOPs 省三成多、精度只掉不到 1%,RTX 3090 就能复现,比单纯砍视觉 token 上限更细。
做 RLHF 或 GRPO 训练的工程师应该看看这篇。它用理论解释了一个常见现象:为什么训练到后期最优响应概率会掉到接近零,以及为什么定期重置 KL 参考点能救回来。连 Kimi 用的训练算法都被纳入了收敛证明。
搞模型评估的人常纠结选几折,这篇论文直接证明了 K-fold 一阶方差最优、且一阶方差与 K 无关,leave-one-out 在合理条件下方差最小。做交叉验证置信区间或审稿判断方法学时可以直接引用这套结论。
用预训练表格模型 TabPFN 预测含能材料的撞击感度、分解温度和晶体密度,不调参就赢了 XGBoost、随机森林和 Chemprop,还快一个数量级。做材料性质建模或者被调参折磨的可以看看,思路在其它小数据集上也能借鉴。
做时空预测或环境传感数据分析的人可以看看这篇。标准 Neural Processes 假设输入干净,DnNP 用变分推理把传感器噪声直接建进模型,PM2.5 插值上 RMSE 降 30%、NLL 降 73%,还给了理论保证,比简单加平滑滤波更有依据。
CLAP、MuQ 这些音频模型的嵌入是纠缠在一起的,这篇论文证明加一层很小的可训练门控就能把属性拆开,检索效果还顺带提升。做音乐检索或者想精细控制属性的工程师可以看看实现细节,不用重训骨干,成本很低。
做医学影像的人该看看这篇:他们拿 DINOv2 和 U-Net 在三种影像上正面对比,还测了跨医院的外部数据,结论很实在——院内任务用老方法就行,要跨机构部署再上基础模型。顺手还揪出一个测试集数据重复的问题。
医学影像检测一直被数据标注不一致卡着,这篇把 EM-DETR 扩成多数据集基础模型,胸片 AUC 涨了 1 个点,mAP50 比单数据集高 2-3 个点。做医学 AI 的研究者可以看看 student-teacher 那套融合异构标签的思路。
做科学发现智能体的开发者该看看这篇:智能体跑完实验只会说"假设被拒绝了",却答不出哪个解释成立,论文用对比集把 73% 的拒绝转成了明确答案,同等预算下多解决 67% 的问题。改动只在假设的提出单元上,现有智能体框架可以直接套用。
做智能体评估的同学该看看这篇。它用同一批 trace 实测了三种评估框架:trace-based F1 到 0.90,纯文本方案误报多 5 倍,还有 24 个功能测试和安全红队零重叠的新失败。结论很实在:功能评估用 trace,安全验证用红队,两条腿走路。
做流程自动化的团队可以看看这篇。思路挺聪明:不每次跑都让 LLM 决策,而是从 Agent 日志里挖出分支条件,编译成纯代码工作流。速度从 170 秒掉到 1.3 秒,成本降 24%,准确率只掉两三个点。跑固定 SOP 的场景很划算。
ICML 2026 的 200 篇论文被变成一个二十问游戏,让 GPT 等六个模型倒推论文核心想法,结果发现它们识货但不擅长自己想出来。做自动科研或智能体搜索的人,这篇给的“外部注入候选”思路值得直接搬进你的 pipeline。
家里机器人学做家务现在有了更清晰的训练路径:一个 checkpoint 管住 100 个任务,还能把 14 个难任务外包给 GPT-6 Astra 拿到 0.639 的 Q 值。做具身智能和 VLA 训练的工程师可以重点看它的任务迁移和降噪训练细节,比头部的纯 RL 方案更贴近实际算力。
运筹学和 AI 两个圈子各用一套搜索方法,这篇论文把 B&B 和 A* 放在同一条件下跑 480 个调度实例,A* 靠重复状态检测全部证明最优,B&B 只做到 445 个。做排程或规划求解的人能从中直接判断该选哪种方法、能借鉴什么机制。
搞传感器和时序预测的人该看看:论文拿 MOMENT、Chronos-2、Moirai-MoE、TimesFM 四个模型实测,告诉你降采样到什么程度性能才开始崩,还给了 FSI、FDI、CDI 三个现成指标。做边缘设备省电部署时能直接照着评估。
五个 LLM 把情境转成 POSG 世界模型,99% 能跑通但结构 F1 只有 0.366,能对上的参考不到两成。做规划或神经符号系统的开发者该看看,别只验证可执行性。
这篇论文尝试让小模型平时用 4-bit 算,只在不确定的步骤回退 8-bit,代价测算得很细。诚实地说,实机数据还没和全精度拉开显著差距,但门控捕获率和字节成本分析对做端侧推理量化的人很有参考价值,适合 Qwen3 用户和量化工程方向的研究者看。
两个 Qwen3 小模型上的实测账本:6 bit 量化不掉分,4 bit 会放大选项位置偏差。结论很实用——用 6 bit 权重,省下的预算拿去做最多四次选项顺序平均。做本地部署和评测的人可以直接抄这张决策表。
做自动驾驶或安全认证的同学可以看看,这篇把流行病学里的中介分析搬进了神经网络训练,解释不再是相关而是因果,还有必要性、充分性、独立性三条可量化准则,比传统概念解释方法严谨不少。
做低延迟生成的朋友可以看看这篇:DLM 的块扩散原本一块卡住全卡住,B3 让两个块在一次前向传播里并行去噪,不用训练不用调参,10 个数据集上白拿 11.5%-14.5% 加速且质量不掉。
做 ML 研究或想搞懂各模型之间关系的人值得花时间。它把 GAN、diffusion、BERT、对比学习全塞进同一个能量框架,差别只在配分函数和采样怎么处理。看懂这篇,很多论文里的公式其实是在说同一件事,而且能量组合还能直接推理出新算法思路。
搞 self-improvement 或智能体自学习的人可以看这篇。它把 CoT、Self-Instruct、Tree-of-Thoughts 这些方法统一归到四个认知机制下,还解释了为什么模型崩溃和幻觉扩散是结构性的,不是调参能修好的。比单篇方法论文更有全局视角。
端侧适配新模型要在转换、图构建、算子、后端好几层同时改,普通编码 agent 搞不定。这篇论文的 builder+auditor 双角色设计把成功率从 33.3% 拉到 75%,做端侧部署的工程师值得细看实现思路。
Only the latest 2000 items are listed; for older ones see the daily archive