arXiv 上这篇论文讲了一个省算力的新招:同一模型家族里小模型算过的上下文,能直接转成大模型能用的 KV 缓存,省 75% 缓存还能提速最多 21 倍。
Papers
Zyphra 的论文提出 ZHA,几步蒸馏就能把现有模型改成亚二次注意力,1M 上下文以上比现有稀疏注意力方法快很多,做长上下文的值得看。
一篇训练方法的论文:打乱推理步骤顺序来算因果奖励,Gemma-3-4B 在没见过的数据集上准确率从 43.8% 提到 46.8%,忠实度也翻倍。
研究者做了个贸易谈判模拟基准,LLM 光会签协议没用,得看结算后是否真创造价值,TACTIC 智能体靠复盘越谈越好。
arXiv 上一个自动元分析系统,已经汇总了 420 篇人机协作论文,结论挺反直觉:人机搭配打得过人类单干,却打不过 AI 单干。
The key insight is that DPO-based defences anchor to an insecure reference model, and an injection-invariant oracle can be approximated in practice — a fix that goes beyond simply training on more attacks. Teams building agentic systems can fine-tune with the released SecPO model, loss and adversarial training data rather than relying on prompt filtering. The released checkpoint is based on Qwen3.6-27B, making it directly usable for open-weight deployments.
训练前改一下初始化,GDN、Mamba-2、RWKV-7 这些线性注意力模型的长文检索就提 5 到 17 个点,方法还挺省事。
这篇论文给测试时搜索泼了盆冷水:在 Cosmos Policy 上,价值选择器居然比随机还差,剪枝后端到端也只快 1.15 倍,还揪出个渲染 bug,做机器人策略的都该看看。
一种新的 LLM 剪枝方法 ETAPS,90% 稀疏度下单卡 H200 就能剪 LLaMA2-7B,效果和成本都比 ELSA 好。
有人在优化建模任务上给 LLM 智能体换了个更聪明的技能检索方式,Pass@1 提到 65%,比 OptSkills 高了快 3 个点,做运筹方向可以看看。
给 ReAct 加了个目标栈和回溯机制,不用训练,AppWorld 成功率最高多 22 个百分点,GPT-4o、DeepSeek-V3.2 都测过。
The paper shows that a usually implicit implementation choice — whether to renormalize survivors' gate scales — can flip which pruning method wins, so benchmark tables built on one operator may not generalize. Engineers pruning MoE checkpoints get concrete guidance: match the operator to the router's training, and validate on math and code tasks rather than multiple-choice accuracy alone. Researchers should adopt the five-item reporting checklist when publishing pruning results.
一篇解决图像生成不会"思考"的论文,LARC 把推理搬进连续隐空间,GenEval 上比 BAGEL 高 7 个点,还能测试时扩展。
训练用 DP-SGD 时批次大小一泄露隐私就崩?这篇 arXiv 论文用随机 dummy points 解决截断和泄露问题,还比 2025 年 Ganesh 的直接核算更省。
这篇论文发现蒸馏时 critic 太小会把大教师带崩,提出的 STAC 按步条件化,在 SDXL、FLUX.2 和 Wan2.1 上都能提升少步生成质量,做蒸馏的值得看看。
数学味很浓的论文,把四类序贯问题(bandit、best-arm、MDP 等)的下界推导串成一条链,还拿 7 个真实数据集验证了差距到底出在哪一步。
用 MIMIC 和 eICU 超 7 万患者数据拆解了 ICU 死亡率模型里哪类特征能跨医院复用,做医疗 AI 的值得看看
一篇理论论文,用最简单的两神经元 ReLU 模型解释了梯度下降为什么会先合并再分化,做神经网络理论研究的可以看看证明思路。
隐私审计的运行时间从 α^-2 压到 α^-1·log(1/α),做 DP-SGD 训练的人能拿到更紧的隐私界,速度还快几个数量级。
如果你用 DRO 做鲁棒回归,这篇指出了它什么时候会慢一截,还给了两个能达到最优速率的替代算法和实现方法。
把 IRL 的奖励函数改用双曲距离来算,数据少时效果更好,还能用博物馆导航数据解读人的行为,做模仿学习的朋友可以看看。
这篇论文把 SAC 和 DeepMind Control 任务加上噪声做实验,讲清了什么时候该用可塑性保持方法、什么时候重置就够了,做 RL 的可以看看。
做超参搜索老是被预算卡住的可以看看:这篇论文给出一个基于期望改进的停止规则,还教你用两步前瞻证书判断是不是停早了。
卫星网络拓扑变化太快,传统 DRL 只看当下。RAMA 让每颗卫星带记忆检索历史经验,Starlink 场景时延降了 93%,做网络方向的朋友可以看看。
教保育声学监测的人换掉 ACI 这类老指数:用 BirdNET 检测物种算多样性,和丰富度相关性 0.93,比传统指数高一倍,还讲了怎么控假阳性。
没有干净数据也能训练扩散模型,CIFAR-10、显微镜、SAR 上都验证了,做图像恢复的可以看看这套一致性思路。
想省显存给模型加循环层?这篇论文实测了 Qwen3 从 0.8B 到 9B 的效果,结论是小模型才划算,大模型纯亏推理算力。
这篇论文用 11 个编码器证明:多模型投票可能只是假冗余,四个模型有效规模不到三个。做医学分割集成的人该看看。
一篇有意思的论文:VLM 和小模型不再转文字传话,直接在隐空间传视觉状态,只训 0.2% 的参数,CLEVR 上比文本通信高出 22 分。
如果你在做 AI Control 或监控器评估,这篇得看:它指出了标准数据集的两个漏洞,还重建了数据集和检查工具一并开源。