把相对位置注意力塞进 FlashAttention 式内核,8K 序列反向最快快 21 倍,还省了 128 倍内存,做音频或长序列 transformer 的可以看看。
Papers
一篇很诚实的服务调度论文:升级成本随负载涨 21.9 倍,加了语义证据判定器后 AUROC 到 0.846,但他们也直接承认预注册假设被证伪、某些模型对不如随机路由。
张量计算的人看过来,这篇没改模型,纯工程优化就把 Tucker 学习内存砍了 900 倍,轨迹还能对到 10^-16 精度。
arXiv 上一篇理论论文,把 Karp 的老牌 NP 完全问题 Exact-One Hitting Set 做到了 2^{o(r)} 时间,算法理论圈可以看看。
把 GEO 优化内容真的发上线上实测,发现 CORE 策略在 GPT-6、Gemini 3.6 上最管用,还揭了 ChatGPT 挑 URL 顺序的老底。
一个开源的技能检索方案,检索基准 NDCG@10 从 64.0 提到 70.9,ToolQA 上比 BM25 和 RankGPT 多完成不少任务,做智能体的可以看看它的 KeyOpt 思路。
给做科研智能体的朋友:这篇把评估粒度拆到单次决策,0.6B 小模型靠状态信息打到 89.4%,比 DeepSeek-V4.1-Flash 还高不少,校准后的不确定性输出也能直接用。
三个主流模型做审批时都会被历史案例带偏:结论标签拉高批准率,案例事实反而压低。做 RAG 或判例检索的值得看看这两部分怎么分开测。
一篇把长推理拆成规划加执行两层的论文,小模型只用10%数据就跑赢DeepSeek-R1蒸馏基线,做推理优化的可以看看。
一篇关于量化压缩的新论文:4 个 LLM 家族实验表明 4 bit 是分水岭,用拓扑特征就能提前预测退化,R2 达 0.85,不用再跑下游测试了。
用 LLM 智能体去啃腔-QED 实验数据,自动提 Hamiltonian 假设再算分,3 个真实数据集验证可行,搞量子的朋友可以看看这套流程怎么搭。
做工业仿真或代理模型的朋友可以看看,450 个铸造热场仿真案例开源,U-Net 在这类几何任务上明显比 MLP 强。
CoRL 竞赛第二名团队公开方案:不微调 VLA,用 19M 小模型加改造过的示教数据就把分数做到 π₀ 的两倍多,做模仿学习的值得看看他们的踩坑细节。
一篇研究 VLM 遗忘的论文,发现用文本来表示要删掉的坏行为比用图像更管用,还给出按样本自动选模态的 ModRoute 方法,分数提升挺明显。
14 名医生实测了对话式 vs 单轮的病历查询界面,93% 更满意对话式,还发现基准测试完全低估了真实查询的模糊度,做医疗 AI 的都该看看。
arXiv 上的预注册研究,用 gpt-6.1-sol 和 claude-sonnet-5.5 跑了锚定、后见之明等五类偏差任务,结论是让模型一次报五个估计并不能稳定去偏,做 LLM 评测的可以看看实验设计。
X-World 1.6 把世界模型做成了自动驾驶仿真器,能从一张图生成多摄像头视频,还能精细控制红绿灯和车道线,做闭环测试的可以看看。
训练时省显存的激活重算常因状态不一致悄悄算错,这篇论文把状态变成显式契约,H100 上步时快了 18%,写训练框架的值得看。
Google 公开了怎么给 XLA 编译器找 bug:模糊测试加智能体集群自动写测试、复现、修,已抓出 142 个 bug,做 TPU 训练的值得看。
一篇用 LLM 替代黑盒调参的论文:直接读 MIP 求解器日志找瓶颈再改配置,10 次提案就打得过 SMAC3 跑 50 次,做运筹优化的可以看看。
一份用普通心电图就能估计 BRCA1/BRCA2 等基因携带风险的研究,外部验证还用了中国人群队列,挺有意思的方向。
这篇论文给世界模型出了道物理题:看着像懂物理,其实连摩擦力都没记住。Roz 评测 1734 个场景一次跑完,做世界模型的同学可以拿来自测。
研究 SAE 可解释性的朋友可以看看,论文指出传统归因图在特征靠近激活阈值时预测会失效,边际图方法误差能从 0.247 降到 0.033。
研究者在 200B tokens 规模上复检了正交约束的各种玩法,结论是真正起作用的只是球面优化,还顺手拆穿了 5 个先前方法的增益来源。
训练时优化器状态比权重还占显存,这篇论文给出一种带数学保证的压缩法,能把 payload 压到 FP32 的三成左右,恢复更新也不跑偏。
研究投机解码的可以看看:把草稿模型训练目标换成 TVP,接受长度比 CE 高 9.8%,比 DFlash2 配方高最多 12.9%。
做 RLVR 训练的朋友可以看看:目标集提示不能外传时,用少量聚合反馈就能重加权 GRPO 的采样分布,数学基准上验证有效。
理论向的硬核论文:讲清楚了为什么注意力认证这么难,还给出可计算的界,GPT-2 上验证有效。
模型上线后想及时发现风险升高,但标注很贵。这篇论文算出了理论极限,还展示利用输入数据免费触发能省 1/b 轮延迟。
一家研究团队在 TabICLv2 基础上做了个表格基础模型 TabAbax,回归任务在 TabArena 上比原版高了 300 多 Elo,还用消融实验证明合成先验才是关键。
超长上下文跑不动?这篇论文用分层聚类做稀疏注意力,10M token 下比全注意力快 72 倍还不掉点,做长上下文的值得看看。
一篇机器人方向的论文:不微调模型,让编码模型自己改控制代码,成功率翻了四五倍,还能攒经验,思路挺有意思。