搞对抗训练的人可以看看这篇理论分析,它证明了用大步长训练也照样成立,不用非得用慢吞吞的小步长。
Papers
推荐系统工程师可以看看这篇:用 SAE 把黑盒用户嵌入拆成可命名的行为模式,还能零样本圈选受众,不用改上游模型。
把 1000 篇论文做成 AI 科学家能跑的实验环境,还测出它在 74% 场景下跑赢人类作者,训练数据也开源了,做科研智能体的别错过。
把 PyTorch 仓库自动改成 JAX 版的智能体测评,Claude Opus 5 通过 75%,其他模型差距挺大,做工程自动化的可以看看。
一群研究者做了个叫 MAEM 的元模型,能把 Qwen3.6-27B 里任意残差流方向翻译成人能读懂的文本,还比语料搜索和 NLA 更准,解释能用一次前向传播验证,可解释性方向值得看。
做意图路由或分类的朋友可以看看:同一模型换个标签写法,准确率能差这么多,论文还给了四个评测坑点。
The survey's value lies in its proposed evaluation framework and its six-way taxonomy of research orientations, which gives structure to a field that has grown mostly through scattered techniques. Researchers and safety teams can use the released notebooks to reproduce methods hands-on rather than reading only about them. The comparison between mechanistic evidence and behavioural evaluation is a useful lens for anyone deciding whether to invest in interpretability tools over standard safety testing.
一篇偏数学的方法论文:不用推导符号方程,直接从微分方程数据里挖出连续对称性生成元,在 11 维基准上全部恢复,做科学机器学习的人可以看看。
搞微调和 RLHF 的朋友可以看看,论文讲清了 LoRA 在 SFT 和 RL 里动态为啥不一样,还给出了分阶段调法,实验在数学推理上验证有效。
研究不确定性量化的朋友可以看看:这篇证明了保形预测在时变偏微分方程上为什么会失效,还给了加权修正方案。
arXiv 上这篇把 Unitree G1 训练成能和人互相配合的伙伴,还能预判被挡住的同伴动作,260 小时交互数据开源了。
NASA DASHlink 数据上跑的飞机着陆异常检测,LSTM 自编码器加 XGBoost,召回率超过 0.9,做时序稀有事件检测的可以看看。
训练 GNN 的朋友可以看看这篇:把 Muon 改造成图感知的 GraphMuon,在 OGB 基准上比 AdamW 快 1.3 到 2.4 倍,代码已开源。
一个改进 Gated DeltaNet-2 的线性注意力新架构,长文本外推到千万 token 还不掉点,训练还比 Transformer 快 2.7 倍,做长上下文的值得看看实现思路。
arXiv 上这篇聚合物性质预测的论文挺有意思,用几何分片代替人工化学规则,还把 3D 构象信息加进去,预测精度有提升,做材料方向的同学可以看看。
搜索型智能体上下文越滚越大的老毛病,这篇论文用注意力熵给检索块打分,延迟降 30%、token 省 45%,成功率还涨了 2.35 个点。
数学圈好消息:KAN 网络的表达能力第一次有了紧的上界和下界,还证明深度大于等于 2 时线性区域比 ReLU 网络多出多项式倍,搞理论的朋友可以细看。
训练小模型的人可以看看这篇:CoRD 改进在线策略蒸馏,Qwen3 系列 0.6B 到 4B 上数学基准 pass@1 平均多涨约 1 到 2 个点,收敛还快 5 倍。
一篇挺扎心的审计论文:老一套的类不平衡方法在去掉数据泄漏后基本没用,做医疗影像的人建议都看看这套诊断协议。
把决策模型当 RL 的起跑器:智能体第一局就拿到奖励,7 个任务全赢纯 RL,还附了怎么写任务描述的指南。
训练长程 Agent 时只有最终结果奖励不够用,这篇用模型自己的注意力给中间步骤发奖励,ALFWorld 成功率从 91.2% 拉到 97.1%,代码开源可复现。
三个开源模型上做的对照实验,量化了模型“学来的信念”到底值多少条证据,做可解释性的朋友可以看看。
做 3D 头像的朋友可以看看,高斯 splatting 重建出的脸容易糊和拉伸,这篇用一步扩散模型修图,还不用逐帧跑,代码已开源。
NTT 的团队做了个有意思的研究:光看物体碰撞时的表面形变,就能推断里面有没有空腔、在哪。对做机器人和无损检测的人很实用。
删数据不用重新训练模型,这论文给出了不用保留原始数据的增量遗忘方案,transformer 上删 20 类还很稳。
标注数据太贵?这篇论文教你用 TANN 和 EPIC 挑最有价值的行,标注 5-10% 就能达到八成性能,还顺手提升 GBDT。
The architectural split between 3D state prediction and rendering avoids the drift that plagues video-frame-recurrent world models, and the laptop-scale latency shows the approach runs on consumer hardware rather than data-centre GPUs. Developers building playable-world or interactive-simulation demos can download the code and weights and extend the framework to other games or rule-based gameplay. It compares with video-only world models like Genie-style systems by trading appearance realism for spatial persistence and control.
实验设计挺巧的:给 GPT-6 一个只能算数不能读权重的工具,审计临床模型的效果和白盒一样好,对做模型审计的人很有参考价值。
The physics framing turns schedule design for masked diffusion decoding into a geometry problem, giving practitioners a principled way to choose unmasking steps instead of heuristics. Builders working on parallel decoding, such as teams tuning LLaDA- or Mercury-style diffusion LMs, can use the closed-form metric to cut error at a fixed step budget. The finding that errors concentrate early for long-correlation text directly informs how to allocate compute across generation steps.
太阳能发电预测只能给单个数值不够用,这篇论文用两个LSTM分开预测辐照度和误差,不确定度偏差最多降56.5%,做新能源预测的可以看看。
一篇把 DINO 自监督搬到惯性传感数据的论文,一个模型同时搞定 HAR、动作捕捉、里程计这些任务,还能换采样率和佩戴位置,做可穿戴或机器人方向的可以看看。
几何深度学习论文把等变GNN的秩限制反着用,用奇异值谱给分子、蛋白复合物做点群识别,还能追踪对称性破缺,做结构分析的朋友可以看看。
PINN 找解,区间算术给严格误差界,Lean 再机器检查一遍,还顺手发现了新的高振幅 Wilton ripple 候选解,方法链路很完整。