Papers
用两个 7B 模型分工干翻 32B 单体:一个负责拆任务,一个负责执行,在 WebArena-Lite-v2 上成功率 37.2% 对 24%,做 GUI Agent 的可以看看训练细节。
字节级模型不用分词器但太贵,这篇来自 arXiv 的 DeepMem 用多尺度压缩把计算量砍了约 7600 倍,效果还反超同规模 Transformer,做底层架构的可以看看。
做医疗预测模型公平性评估的可以看看,作者逐个分析了八种 AUC 公平性指标,哪些能用、哪些有坑都讲清楚了,还给了 EuroSCORE II 的模拟例子。
一篇对齐方法的复现研究:用纳什均衡思路微调,8B 模型干过了 70B,还验证了不用 GPT-4o 标注也行,做对齐的可以看看。
机械臂逆运动学一直靠手工调控制器,这篇论文用强化学习把误差压到 1mm 以内,还能直接给 π₀.₅ 这类 VLA 策略当下游执行器,做机器人方向的可以看看。
UT Austin 的机器人团队做了个 GUILD 框架,一边让 VLM 挑任务一边评估数据价值,采数据比老手工程师还高效。
研究者把模型“越训越坏”的问题做成了可测量的框架,还给出 PEARL 这个 GRPO 改进版,做对齐或安全微调的可以看看怎么压制不良行为不反弹。
有人把 transformer 改成量子测量模型,解释不再是猜的,词的贡献能精确加和,还在 IBM 量子计算机上跑通了。
一篇理论论文,把判别式学习和生成式不可区分这两个看起来不同的任务证明成复杂度等价,做学习理论的朋友可以看看证明思路。
这篇论文把 ICL 的每一步都拆开了,用 patching 证明哪层头在存演示、哪层头在查标签,机制可解释性方向的可以细看。
论文提出 CATF 框架,Manager 硬路由把任务分给专职 Worker,200 组对比里 162 组赢过单模型,还胜过 Time-MoE 15/20。
天体物理里的引力波信噪比计算向来很费算力,这篇用一个小模型把百万次评估压缩到几秒,做引力波种群研究的人可以直接拿来用。
.looped 模型参数省但 KV cache 爆炸,这篇提出 0.5bit 量化方案,SGLang 实测吞吐最高涨 6.1 倍,做部署的可以看看。
一页理论论文,把 1995 年的 hardcore lemma 推广到任意凸损失和多类分类,还和 omnipredictors 对上了,做学习理论的朋友可以看看。
机器人 RL 训练的新正则化方法,19 个任务上把成功率从 33% 拉到 95%,代码已开源,做机器人策略优化可以看看。
预测模型一上线就改变用户行为,置信区间还算数吗?这篇论文给出了明确答案和算法,做风险敏感应用的人可以看看。
PINN遇到带孔洞的偏微分方程就翻车?这篇arXiv论文用Hodge分解和de Rham上同调给出修复方案,还拿Aharonov-Bohm效应做了实验验证。
做 RL 训练的朋友可以看看这篇:用判分模型的文本反馈做自蒸馏,专门救那些普通 RL 优化不动的奖励,还讲了怎么防止训练震荡。
一篇理论算法论文,核心是把高斯划分用作学习原语,把 k 个 halfspace 学习的维度依赖从指数降到多项式,还配上了匹配的 SQ 下界,做学习理论的可以看看。
一个只有 31 万参数的 CRF 模型,肽测序准确率超过 Casanovo v5,速度快 55 倍,CPU 就能跑,做蛋白质谱的分析师可以看看。
无人机音频检测的论文,发现常用数据集随机划分会虚高约2-3个点准确率,换成按来源划分的协议后测得更真实的成绩。
一篇联邦学习理论论文:worker 数量超过一定规模时,普通加权平均会失效,但加上服务器自己的数据就能救回来,还给了具体的样本量条件。
搞图神经网络的朋友可以看看,这个库把 15 种层神经网络统一成消息传递实现,不用再手动拼全局拉普拉斯矩阵,省内存也好扩展。
Skipping backpropagation means on-device fine-tuning no longer needs training-grade memory, letting a shared 8B model be personalized overnight on consumer hardware like an iPhone 16 Pro. The 89-100% success-rate jump for a phone-use agent suggests practical deployment paths for on-device agents handling private data. Practitioners working on edge AI, quantization or RLVR-style training should examine FuRA-S as an alternative to LoRA-based ES methods.
本地跑 MoE 模型的可以看看,Bevy 不靠预测专家,靠调度并发请求,吞吐量是 llama.cpp 的 3.46 倍。
单像素成像的新玩法:直接为分类学测量模式,8 次测量顶固定变换 32 次,X 光探伤场景挺实用。
一篇理论向的多智能体强化学习论文,用 pre-window curvature 把不可加奖励下的策略优化降到多项式时间,还给出近似保证,做 MARL 的可以看看。
一篇时序预测论文,用 Koopman 算子把扩散模型的多步采样换成一步闭式计算,快 25 倍还拿了 ProbTS 上 13/17 的 CRPS 第一,做预测的可以看看。
这篇论文讲了个挺实际的问题:模型拟合同一批数据,内部机制却可以有完全不同的解。NANO 方法让训练主动制造多样性又不破坏拟合,做混合建模的可以看看。
材料模拟圈的朋友可以看看,扩散桥模型把 Al-Cu 凝固相场模拟提速约 73 倍,还不会像 U-Net 那样把枝晶抹平。
联邦学习选客户端有新招了:FedCSGA 用遗传算法挑子集,四个数据集上准确率最高涨 7.0%,收敛还更快。
arXiv 上这篇论文用 ZTF 的 4 万颗变星数据对比了两类方法,结论是经典特征模型更强,做时序分类的可以看看失败原因分析。
这篇论文把图神经网络做入侵检测的水分挤干了:去掉评测泄漏后,图模型精度和不带图的 MLP 打平,树模型反而更强,唯一赢在抗噪声。做安全检测选型的值得看看对比细节。
给 token 打个影响力分数就能剪掉大块注意力计算,FLOPs 和延迟都降,代码也开源了,做视觉模型部署的可以看看。
研究团队发现模型答错的数学题里有一小半其实能靠搜索轨迹救回来,他们就拿这部分数据去训练,Qwen3-VL-8B 用更少数据提了分,做法挺巧的。
给 Allentown 12.5 万居民造了一套假档案来考 AI 办案,16 个模型里大多数不及格,连前沿模型也会被骗。