同一套任务,换不同 harness 排名就变。这篇用 52,168 条轨迹告诉你怎么区分模型和 harness 谁在背锅,做智能体的都该看看。
Latest
arXiv 上新论文 CASE,专门治多模态模型分不清相近情绪的问题,把 Qwen3-VL-8B 的 CA-MER 准确率从 46.80% 拉到 59.13%,还不用动模型参数。
一篇做多模态嵌入的论文,把推理当成隐变量来训练,MMEB-V2 上 78 个任务全赢了基线,视觉文档检索涨了 6 分多,做检索的可以看看。
让 LLM 照着护士用的分诊指南一步步执行,566 个场景测出 0.95 准确率,直接问 LLM 只有 0.47,过度分诊也从 0.5 压到 0.02。
做 Web3 安全评测的可以看看:这套路子用协议变异生成新任务,照抄链上公开攻击代码没用,3035 个任务还覆盖检测到修补全流程。
一篇医疗预测的论文:DIGOM 用图同时建模患者间和跨模态关系,在 MIMIC-IV 等数据集五个任务上都拿了最高 AUROC,模态缺失时也更稳。
训练科研智能体最缺的就是能跑、能验证的环境,这套流水线从代码仓库自动造出近 10 万个,还把 Qwen3.5 训出了跨基准提升。
这篇论文提了个省钱的办法:不用跑昂贵的机器人闭环测试,用 S² 指标就能提前判断哪个模型训出来更靠谱。做具身智能的值得看看。
这篇论文解决了 AI 决策该不该信的问题:错漏审比例可设阈值、有数学保证,还比基线少用大量人工审核,做智能体安全筛查的值得看看。
训练方偷偷用了你的图片集合很难查,这篇论文给出办法:提前在数据里埋低频水印,事后用几十张生成图就能验证,画质几乎无损。
循环模型每次循环都要单独存一份 KV 缓存,内存爆炸。这篇论文的两阶段训练方法让缓存能跨层共享,首 token 时间砍了 83.6%,做长推理的可以看看。
一篇隐私方向的新论文:自蒸馏模型原来会留下可被攻击的训练数据痕迹,OP-Print 用残差信号和重启稳定性就能把成员识别出来,基线全都失效。
一篇理论向的论文,作者把纯 DP 下学习离散分布的样本复杂度做到了信息论最优,核心工具是 sum-of-squares 估计器,做隐私统计的可以细看。
一篇给多模态模型做反事实解释的论文,思路是直接从训练集里检索真实样本当解释,比逐模态归因更连贯,可解释性方向的同学可以看看。
一篇解决相位恢复这类歧义逆问题的新论文:单次采样里同时养多个候选解,按先验淘汰弱的,不用best-of-k跑多次。
一篇论文把物理轨迹数据变成可复用的目标函数,LEAP 在分子模拟和多体轨道上都验证了,做科学计算推理的可以看看。
一篇方法论文:把压缩变成回归问题,RULER 成绩超过注意力压缩器,视觉 token 还能砍掉一半多。
用图结构增强 LLM 提示的朋友看看这篇:G-Retriever 的图 token 其实塌缩成常量了,作者还给了检测方法和修复流程,代码开源。
这篇论文把 DeepSeek R1 和 Kimi K3 发布时的股价反应放在一起比,解释了为什么两次市场反应完全不同,做投资或研究行业的人都该看看。
有人用 Rowhammer 硬件攻击搞坏了 Triton 编译,四个主流模型实测慢 4-16%,搞 GPU 推理的都该看看这篇。
The finding overturns the widely repeated narrative that acceptance rate falls as chains grow, which has driven draft-model co-design and position-aware training spending. Teams building inference acceleration should redirect effort from positional engineering toward entropy at decision points, where the paper localizes the real failure. The MATH-500 baseline and open diagnostic protocol are directly reusable for benchmarking any draft-target pairing.
Unacknowledged prompt suggestions can flip a model's final answer, and this method localizes where in the residual stream that influence enters — a concrete tool for interpretability and safety audits. Researchers and alignment teams working on chain-of-thought faithfulness can apply the attribution maps to test which prompt elements causally matter. The open-source Gemma-4-E4B-it and DeepSeek-R1-0528-Qwen3-8B checkpoints make replication cheap compared with closed frontier models.
给编码智能体加了个只有 4B 的小验证器,只挑关键步骤做验证,解决率涨一两个点,成本几乎没变,还能直接用在没见过的模型上。
一篇研究测试时推理剪枝的论文,把 pass@$k$ 直接当优化目标,在 8 个开源推理模型上比质量和多样性两类剪枝策略都强,做推理效率的可以看看。
这篇论文把 IT 工单自动路由的隐性成本算清楚了,微调的 DistilBERT 比 GPT-4o-mini few-shot 准确率高出近一倍,用成本模型选策略能省 38% 成本。
有人用 Custom GPT 做了个帮中小企业看懂 EU AI Act 的工具,还拿 100 个场景和 ChatGPT 对比测了一轮,方法值得借鉴。
数学定理证明全流程交给 Claude Opus 5.5 做决策、GPT 6 Astra 执行,最后 Lean 内核验证,AI 代理做形式化数学的完整案例。
OpenAI 生成了 Barnette 猜想的证明,有人把它整理成 arXiv 论文,想看模型在数学难题上的真实水平可以看看。
这篇论文搞了个叫 METTA 的方法,用神经记忆替代 transformer 回看历史,ML10/45 上成功率超 50%,算力开销还更低。
一个专门测智能体“证据不全时会不会乱来”的基准,300 组任务对测了十款模型,做 agent 安全的人可以直接拿来用。
DeepSeek 的 n-gram 表动辄上千亿参数,这篇论文用 4 比特量化砍掉四分之三内存,性能几乎不掉,做本地部署的可以看看。
这篇论文指出了 CoT 一个老毛病:推理步骤可能是事后编的。CausalCoT 把问题拆成依赖图逐个隔离求解,因果敏感度平均涨了 12 个百分点。
用 OLMo-3 的 13 个中间检查点实际测了 RLVR 会不会让模型更爱追求权力,结果先升后降,数据挺有意思。
一项临床 RAG 评估研究:混合检索加 cross-encoder 在乳腺病灶文献上拿到 0.94 的 Recall@3,还发现标注范围会直接影响分数,做 RAG 评测的可以看看方法细节。
Control evals have so far been limited to purpose-built settings whose transfer to real deployment is questionable; SCEs let safety teams test safeguards against deployment-specific environments cheaply, without executing every task. The 3.6 vs 10.1 percentage-point RMSE gap against BashArena is the concrete benchmark to cite when arguing simulation fidelity. AI safety researchers and red-team builders can apply the technique by generating simulated tool responses for their own target environments.
Only the latest 2000 items are listed; for older ones see the daily archive