AI Research Papers & Highlights

Soft-MTP Fixes Multi-Token Prediction Training via KL Gradient Recovery

The KL gradient-recovery trick recovers exact KL divergence gradients from cross-entropy gradients without vocabulary-sized logit matrices, staying compatible with standard fused kernels — a practical detail most MTP implementations overlook. Teams pre-training models with MTP, including DeepSeek-style architectures, can adopt it as a drop-in change with no parameter or throughput cost. The repo offers a direct starting point for replication.

#MTP #KL divergence #speculative decoding #open-source models

arXiv: DeepSeek@Jayden TeohSource

Papers Builders10:41

Chinese contentAmazon Science 发布 Vendster：评估预测工具质量对 LLM 谈判智能体的影响

Amazon Science 做了个开源评测场，专门测预测工具质量怎么影响 LLM 智能体谈判，跑了四个主流模型，结论挺反直觉。

#Vendster #Claude Opus 4.6 #GPT-5.6 Sol #DeepSeek-V3.2

arXiv: DeepSeek@Charin PolpanumasSource

Papers Builders10:41

Chinese content组件级翻译揭示多语言安全评估中的拒绝率差异

研究者把提示词拆成请求和操作两部分分别翻译，发现 Mistral Small 4 换成西班牙语后拒绝率掉了 13.7 个点，Gemini 2.5 Flash 和 DeepSeek 则基本没变化。

#Mistral Small 4 #Gemini 2.5 Flash #DeepSeek #GPT-5.4-mini

arXiv: DeepSeek@Yongxi Zhou et al. (4)Source

Papers Builders10:41

Chinese contentVulnLens：结构化安全解释提升 C/C++ 漏洞检测

论文提出 VulnLens，用 LLM 从 7 个固定视角写安全解释再训练分类器，在 PrimeVul 上 F1 超过 DeepSeek V4 Pro 和 Gemini 2.5 Pro。

#VulnLens #漏洞检测 #LLM #代码安全

arXiv: DeepSeek@Fares Trad et al. (5)Source

PapersSelected10:03

ParaTTT Parallelizes Deep Test-Time Training Memory Layers

The core insight is that deep nonlinear test-time memories no longer have to trade expressiveness for parallelism, since PTTT recovers exact online gradient descent as a fixed point while running chunkwise in parallel. Researchers building subquadratic sequence models should examine the algorithm and benchmarks, since it directly compares against Gated DeltaNet and Mamba-2 at matched model sizes. The paper appears on arXiv as 2610.38255v1.

#ParaTTT #TTT layers #Mamba-2 #Gated DeltaNet

arXiv cs.LG@Noel Loo et al. (6)Source

Papers10:03

Chinese contentCRW-FTRL 算法解决强腐蚀对抗线性老虎机问题

理论向的新论文：CRW-FTRL 把强腐蚀线性老虎机的遗憾界压到 Õ(d√T+dC)，补上了 Liu et al. 2024 留下的 √d 缺口，做 bandit 理论的值得看。

#bandit 理论 #CRW-FTRL #在线学习 #对抗鲁棒性

arXiv cs.LG@Qiwei Di, Quanquan GuSource

Papers BuildersMulti-source10:03

Chinese contentGAAC：无损 KV 压缩方案，让长上下文推理更省内存

苹果和英伟达设备都能跑的无损 KV 压缩，内存省 26%、吞吐提 29%，做端侧长上下文推理的值得看看这套编解码思路。

#KV压缩 #LLM推理 #GAAC #端侧部署

Event

arXiv cs.AI@Yipin Guo et al. (3)9 sourcesSource

Papers Builders10:03

Chinese content音乐音频生成模型综述教程：覆盖扩散、流匹配与评估方法

想做音乐生成的同学看这篇：把音频编解码器、扩散、流匹配这些方法用统一框架讲透，还带系统对比表和听测评估指南。

#音乐生成 #扩散模型 #流匹配 #神经音频编解码器

arXiv cs.AI@Mateusz Modrzejewski et al. (3)Source

Papers Builders10:03

Chinese contentVGR 方法将逆合成规划的验证可解率从 51.1% 提升至 71.1%

这篇 arXiv 论文教你在分子逆合成搜索里实时嵌入反应验证，Retro190 上可解率提到 71.1%，做药物合成规划的值得看看细节。

#逆合成规划 #VGR #Retro190 #反应验证

arXiv cs.AI@Hongxuan Shi, Hankz Hankui ZhuoSource

Papers Builders10:02

Chinese content研究：编码智能体演进代码时更依赖仓库先例还是任务指令

做了5625次实验，发现编码Agent几乎总跟着仓库既有代码走，文件放哪、写不写规则结果差很远，管Agent写代码的都该看看。

#编码智能体 #AI编程 #arXiv #仓库先例

arXiv cs.AI@Haichao Zhu et al. (5)Source

Papers Builders10:02

Chinese contentMEV：面向长镜头多事件视频生成的数据集

做视频生成的朋友可以看看这个 MEV 数据集，专门针对一个长镜头里连续多个事件的场景，带时间边界标注，比常见的单事件短片数据集更对口。

#MEV #视频生成 #数据集 #text-to-video

arXiv cs.AI@Peiyuan Zhu et al. (7)Source

Papers Policy10:02

Chinese contentIFAAB 数据集：审计 LLM 在印度金融建议中的群体偏差

研究者用 GPT-4o 给 3 万多条印度虚拟人设做金融建议，发现同样问题换个性别标签答案就大不一样，数据集已开源可复用。

#IFAAB #GPT-4o #AI安全 #LLM偏见

arXiv cs.AI@Kriti MahajanSource

Papers Builders10:02

Chinese contentFACTS-MAS：多智能体架构用于异构证据的自适应预测

一篇多智能体预测的论文，把时间、季节性、事件等证据拆给不同智能体分别打分再加权，在 Zillow 和 FRED 数据上跑赢了 TimesFM。

#FACTS-MAS #TimesFM #多智能体 #时间序列预测

arXiv cs.AI@Madumita Karthikeyan et al. (3)Source

Papers Builders10:02

Chinese contentCuraEval：评估混合技能机器人数据中的示范筛选方法

机器人模仿学习的数据筛选方法被系统性检验了，PSD 分数被证明就是轨迹长度，还给了代码，做机器人训练的可以看看。

#CuraEval #Diffusion Policy #模仿学习 #机器人

arXiv cs.AI@Jiuyi Xu et al. (4)Source

Papers Builders10:01

Chinese contentRubricon：自动生成与精炼评分标准，用于 LLM 评估与训练

训练和评估没有标准答案的任务时，人工写 rubric 很贵，这篇论文给出全自动生成方案，对齐度比现有方法高 9%

#Rubricon #LLM评估 #Qwen3.5 #HealthBench

Event

arXiv cs.AI@Ulyana Tkachenko et al. (4)2 sourcesSource

Papers Builders10:01

Chinese content多智能体临床 LLM 会放大而非消除偏见：提出 disparity laundering 概念

这篇文章发现多智能体共识不但不去偏见还会掩盖偏见，5 个模型全中招，但有个不用重训练的修法能砍掉 67-94% 的差距，做医疗 AI 的必看。

#MIMIC-IV #多智能体 #LLM偏见 #医疗AI

arXiv cs.AI@Xiaoyang Wang et al. (3)Source

Papers Policy09:59

Chinese content论文提出 Role Grounding Attack：通过社交互动污染智能体记忆

攻击者发个帖子就能让你的智能体把别人的偏好记成你的，还会把敏感信息发给攻击者的工具，作者在 5 套记忆系统上验证都成功，做 Agent 记忆的得看看。

#Agent #智能体 #记忆系统 #AI安全

arXiv cs.AI@Haoran Bu et al. (5)Source

Papers Builders09:58

Chinese content双循环自动化框架：用自然语言生成可验证的电源电路原理图

把需求描述直接变成能用 ngspice 跑通的 KiCad 电源原理图，仿真通过率从 0 拉到 100，做电源设计的可以看看这套流程。

#KiCad #EDA #ngspice #LLM

arXiv cs.AI@Bowen Su et al. (7)Source

Papers09:57

Chinese contentProDMM 与 Bottle-SKU：面向多 SKU 洗发水瓶缺陷检测的新基准和方法

做工业质检的可以看看：新数据集 Bottle-SKU 有 48 种瓶型 2 万多标注框，ProDMM 思路能应对不同 SKU 外观差异，方法细节都在论文里。

#Bottle-SKU #ProDMM #Grounding DINO #工业缺陷检测

arXiv cs.AI@Yuehang Li et al. (7)Source

Papers Builders09:56

Chinese contentDecompGym 基准测试：LLM 智能体能否正确实现分解算法

拿 12 个 GPT、Claude、Gemini 模型考手写 Benders 分解和列生成求解器，考题是 81 个实例，结果发现只看输出根本查不出代码里的猫腻，反思式纠错能多救回四分之一的失败。

#DecompGym #Benders decomposition #column generation #LLM 智能体

arXiv cs.AI@Sikai Cheng et al. (7)Source

Papers Builders09:54

Chinese contentEasyProver 系统在 Lean 定理证明上逼近基准饱和并推出更难的 Aegis

一个不用微调就能做完 IMO 2026 全部形式化题的 Lean 证明系统，还顺手造了个更难的真实代码验证基准 Aegis，做形式化验证的可以看看。

#EasyProver #Lean #形式化验证 #定理证明

Event

arXiv cs.AI@Debargha Ganguly et al. (9)2 sourcesSource

Papers09:54

Chinese contentBridgeRouter：按实例路由跨模态桥，提升脑电模型迁移精度

一篇挺巧的论文：让 EEG 基础模型不重训就能跑 EMG 和 ECG 任务，靠 MLP 预测哪条迁移桥增益最大，FOG 上比单选桥高 11 个多点。

#BridgeRouter #EEG #跨模态迁移 #算法选择

arXiv cs.AI@Ruoxi Piao et al. (5)Source

Papers Builders09:52

Chinese content论文提出期望对数密度比（ELDR）估计新框架

搞生成建模或强化学习的朋友看看，密度比估计原来很多场景其实该用 ELDR 来做

#密度比估计 #ELDR #生成建模 #强化学习

arXiv cs.AI@Avi Amalanshu et al. (4)Source

Papers Builders09:52

Chinese contentSkillCT：一个免执行的 Agent 技能质量多维评估基准

做 Agent 技能（Agent Skills）开发的朋友可以看这篇，9 个维度评估技能质量，还能免执行预测评分，省 token 又省时间。

#SkillCT #Agent Skills #智能体 #基准测试

arXiv cs.AI@Mengyu Sun et al. (4)Source

Papers Builders09:51

Chinese contentCAT-CCB：面向未测混杂的离线强化学习迁移框架

离线 RL 遇上混杂变量和域差异怎么办？这篇用工具变量加负控制给出可识别方案，做因果 RL 的可以看看推导。

#离线强化学习 #因果推断 #工具变量 #CAT-CCB

arXiv cs.LG@Junyi Liao et al. (3)Source

Papers09:50

Chinese contentStBR：用潜空间散度约束改进离线强化学习策略正则化

一篇离线RL的新论文，思路是不约束动作而是约束状态后果，用潜空间散度做可计算的替代，基准成绩有提升。

#离线强化学习 #StBR #arXiv #策略正则化

arXiv cs.LG@Wen Jiang et al. (3)Source

Papers BuildersSelected09:50

TIDE Speeds FSDP2 Training with Zero-Copy Collectives on 64 GPUs

The hidden cost in FSDP training is often layout conversion and collective interference rather than compute, and TIDE shows both can be largely eliminated with standard NCCL APIs rather than custom hardware. Teams running large-model training on multi-node clusters can adopt it to reclaim step time and GPU memory without changing FSDP2's per-parameter kernels. The mixed-precision bf16-to-fp32 reduce-scatter is a capability stock NCCL lacks, making the implementation details directly reusable.

#FSDP2 #NCCL #TIDE #distributed training

arXiv cs.LG@Zejian Wang et al. (14)Source

Papers Builders09:50

Chinese contentHotPOT：用异构物理专家算子 Transformer 做大规模 PDE 预训练

一篇把物理方程直接写进专家结构的 PDE 论文，17M 小模型反而打赢更大的 MoE-POT，做科学计算的可以看看代码。

#HotPOT #MoE #PDE #Transformer

arXiv cs.LG@Jiayi Li et al. (8)Source

Papers09:48

Chinese contentRainCheck 研究揭示孟加拉国降雨预测中的数据泄露问题

这篇论文用孟加拉国 66 年数据证明：很多降雨预测模型的"高分"其实是数据泄露，气候学基线就能打平大部分机器学习模型，做时序预测的都该看看。

#降雨预测 #Bangladesh #时间序列 #机器学习

arXiv cs.LG@Shahran Rahman Alve et al. (4)Source