一篇关于智能体 RL 训练的新论文:MPO 把 credit 分配对齐到 turn 粒度,在 4B 和 30B-A3B 模型上稳定跑赢 RL 基线,做智能体训练的可以看看。
Papers
研究者抓了850万条Reddit帖子,把GLP-1减肥药的真实用户体验做成可问答的知识图谱,还对比了FAERS漏掉的日常副作用。
一篇针对 Fast-BEV 的论文,用剪枝加重训再平均的办法,把噪声天气下的鲁棒性拉高 33.8%,推理还不变慢。
arXiv 上一篇分析工具论文,用 SVD 拆开注意力头看哪些层真有冗余,还能和剪枝叠起来省 8-11% 推理计算。
The non-obvious takeaway is that caching bugs produce no errors at all — teams simply pay more per token while assuming caching works. Platform and backend engineers running agent workloads on OpenAI, Anthropic or other provider APIs can run CACHELINT on their own repos before costs accumulate. As an academic tool study with no pricing or regional availability angle, its closest comparison is other static-analysis approaches like CodeQL-based linting, which CACHELINT extends with provider-aware precondition checks.
让小模型靠"骗过"大模型来学本领,不用标准答案,Qwen2.5-1.5B 在四个基准上都有提升,训练思路挺新颖。
想让 LLM 帮忙审论文或做评分的人该看看:同一批 ICLR 投稿上,提示词怎么写能让 DeepSeek-V3.2 的分差从 1.46 降到 0.2,数据很扎实。
论文测了三个主流模型在 SEC 文件上算数字的表现,发现数字本身往往算对,但挂错了公司或科目,这个问题之前没人单独量化过。
arXiv 上新出的 AgentProofBench,专门测 Web Agent 的验证器好不好用,用 DeepSeek 跑了近百个任务,做 Agent 评测的可以看看。
剪枝和 CoT 压缩一起用会互相打架,这篇论文给 DeepSeek-R1-Distill-Qwen-7B 剪 20% 权重还能省 8–22% 思考 token,掉分不到 0.5,做模型部署的可以看看。
一篇给 AI 和流体力学两个圈子的桥梁综述,讲清 diffusion 模型做湍流模拟到底行不行、该怎么验证,做科学计算的朋友可以看看。
训练模型调学习率衰减的可以看看,UTA 比固定衰减曲线更聪明,能跟着训练状态走,LLaMA 和 ResNet 上都验证了,直接即插即用。
一篇很扎实的 grokking 机理研究,实验设计干净:先记住、后泛化的时间线被精确量化,还证明了压缩秩反而会阻碍 grokking。
研究者拿 Counter-Strike 2 的毫秒级对局数据训练模型预测玩家 60-120ms 内的本能反应,EMBER 准确率 73.5%,还比 LLM 基线快好几个量级,思路挺有意思。
arXiv 上这篇论文挺有意思:网络自己决定加神经元还是砍神经元,不用预先定架构,持续学习场景还能省参数,做 NAS 的可以看看。
一篇讲扩散语言模型设计的论文,结论挺反直觉:怎么加噪声几乎不影响效果,怎么采样才关键,预算 180 次调用时差了 25 个点。
KITTI、nuScenes 上的 PointPillars 实验,讲清楚一个阈值换个工况就不可靠的问题,做自动驾驶感知安全的可以看看这套检验流程。
搞无线电信号分类的可以看看:用 JiT 扩散模型做去噪防御,不用预知攻击类型,PGD 下鲁棒性比对抗训练高 20% 多。
冻结的 VLM 不重训,光进化推理代码就能把图表问答从 16.6% 拉到 41.3%,还快 3.8 倍,AlphaEvolve 那套玩法很实用。
做 VRM/VTuber 模型的朋友可以看看,这篇讲怎么给多部件的动漫脸自动生成 ARKit 表情,省去手动 K 帧的活。
OpenAI 和 NVIDIA 的指令层级训练集都漏了目标-目标冲突这一类,这篇论文补上了,微调 Qwen3.5-9B 和 Gemma4-12B-it 就能明显提升效果,做对齐训练的可以看看。
把车道换向和限速交给一个 transformer 统一调度,仿真里高峰延误砍了九成,交通方向的做法挺有意思。
arXiv 上这篇论文用拉丁方染色把 Grokking 讲透了,想搞懂模型为啥突然泛化的可以看看
做分割或不确定度估计的可以看看,CRC 在稀有类别上会失控,这篇用分组重加权来解决,还给了两个数据集的实验。
一篇做路径表示学习的论文,用 VAE 自动生成视图,替代费算力的启发式对比学习,做出行时间估算的可以看看。
免训练的 KV 缓存压缩方案,压 13 倍几乎不掉点,比现有跨层方法强不少,自己部署 LLM 的可以看看代码。
做 KV-cache 压缩的人可以看看,这篇用理论证明了为什么连均匀采样这种简单方法在真实模型上就好用。
Deduplicating expert reads sounds appealing for MoE inference, but the measured bandwidth numbers show it rarely helps at practical draft lengths, which saves practitioners from engineering it blindly. Inference engineers and MoE serving teams can reuse the fitted-bandwidth method, which takes under an hour per model, to predict whether deduplication wins on their own hardware. The tested stacks — llama.cpp CUDA and Metal plus MLX-LM — cover the common Mac and NVIDIA deployment paths.
一篇时序因果推理的论文,8.6B 参数的 TCR-Former 在 TempoCausal 上赢了 GPT-5.4 和 DeepSeek-V3.2,思路是把因果图塞进注意力机制里。
一篇研究 LLM 提问质量的文章:好奇式问题只占 17-28%,但能让用户回复更有探索性,做对话产品可以看看。
这篇把全网网站的视觉设计自动抽成可复用技能库,接上 Qwen3.8-Max 这类模型就能让生成的网页好看不少,做网页生成方向的可以看看开源代码。
用 AL-RNN 在 100 个认知任务上同时训练,解释了任务间什么时候互相帮助、什么时候互相打架,做神经计算建模的可以看看。
一篇把权重平均和秩分析结合改进 OOD 检测的论文,ResNet50 上跑出了对比数据,做模型部署异常检测的可以看看。
一篇解决桌面智能体训练数据稀缺的工作:OS-Wizard 自动采轨迹,微调后在专业软件基准上超过人类成绩,做 GUI 智能体的可以细看。