浙江大学这个新基准专挑 VLM 的痛点测:场景变了,模型能不能推出空间关系怎么变。结果 21 个模型里最强的只拿到 58%,人类是 87%。做机器人、具身智能或视频方向的同学可以用它来量化自家模型到底差在哪。
Latest
arXiv上这篇论文解决了编码智能体记忆该存什么、什么时候用的问题。它把读写记忆的成本算进训练目标,在ChainSWE基准上让27B模型解决率从21.0%提到25.7%,还少走17%的步数。做智能体记忆或SWE agent的团队值得对比看看。
两帮人做 LLM 安全的可以看看这个:作者训练了两个开源模型,能从聊天里推断你的性别和年龄段,再用不可见字符藏进生成的文本里。你把 AI 写的邮件发出去,隐私就跟着泄露了。做内容安全和隐私合规的人应该认真评估这类风险。
这个基准把地理环境做成了会随时间变化的平台,智能体得主动查信息、验证旧结论还失效没失效。目前没有哪个前沿模型能全面搞定,做 Agent 评测和地理信息应用的开发者可以拿来测自己的方案。
这篇论文很实在:跑 AHD 时贵模型不一定赢,用 bandit 动态挑模型,成本最多省 65.6% 还能超过单模型。做组合优化、进化搜索或者想省钱跑 LLM ensemble 的开发者都该看看。
评估 LLM 时你可能一直测错了东西:这篇论文证明离线跑基准和线上 A/B 测的根本不是同一个指标,用户适应后模型排名都可能反转。做模型评估、部署选型或实验设计的工程师和研究者应该看看它给出的判断条件。
搞约束解码或神经符号结合的人可以看这篇:作者把教法规则编译成有限状态自动机,再用文法约束解码管住 LLM,数学证明能彻底消除决策性幻觉。思路对任何需要 LLM 严格按规则输出、不能瞎编结论的场景都有参考价值。
口试能逼学生讲清推理过程,但一个老师考不了全班。这篇论文用两个分工的智能体做对话式考试,一个提问一个暗中按 rubric 打分,还专门防提示注入骗答案。做教育产品或评估工具的人可以看看架构设计。
做强化学习理论的应该看看这篇:作者在对抗 MDP 里主动引入反馈延迟,反而免费换来了 √S 和 √K 两处最优遗憾界。表格情形填了多年开放问题的缺口,线性情形把五年卡在 K^3/4 的记录推到 K^1/2,GRR 这个技巧以后估计会被反复引用。
做遥感或图神经网络的人可以看看:作者设计了一个 MALNISI 指标来给像素建图,再把权重塞进 GAT 的注意力里,配上加权对比损失,无监督就能做地物分类。在六个基准数据集上跑赢了十四种现有方法,比常规对比学习方案多了邻域感知这一层。
搞多机构合作建模的可以看看这篇:用户一句话说清训练需求,智能体自己找合作方、谈协议、跑联邦训练,最后用x402在链上结算。协调和数据控制分离的设计对数据方友好,四节点demo已经跑通了全流程。
浙大团队发现一个反直觉结论: acting 差的模型当 judge 反而能教出更强的策略。用 JEV 把 Qwen2.5-1.5B 在 ALFWorld 从 72.8% 拉到 82.9%,比 GRPO 高不少。做智能体强化学习训练的人值得把这套代码跑一下。
做 RAG 系统的人值得认真看这篇。它用反事实替换的实验设计证明:NLI 引文验证基本是摆设,1.2% 到 15.7% 的引文是模型靠记忆编的。论文还对比了十种归因方法的效果,对评估流程设计有直接参考价值。
临床问答最怕啰嗦,这篇论文用单张消费级 GPU 微调 1.7B 小模型,回答砍掉 72.8% 还更准了。不靠奖励模型和偏好数据,靠提高 EOS 概率这一个技巧,微调党可以直接抄作业。
用小模型跑智能体的开发者应该看看这篇。CaMeL 这类防御要求模型自己写安全策略,但 1.7B-12B 的开源模型基本写不靠谱,论文测了 15 个模型几乎全军覆没。CapLite 从工具 schema 直接推策略,在 13935 个攻击回合里零失守,token 消耗只有 CaMeL 的 18%。
这篇论文把 11 个 ASR 系统的错误按四个层级逐条分类,发现 WER 相近的产品在耳语场景下表现天差地别。如果你在做语音输入或听写功能,Silero VAD 会把 Whisper 的耳语 WER 从 10.1% 推到 51.4% 这个结论直接关系到你的技术选型,全部数据集也开源了。
做视觉模型的开发者该看看这篇。它用统一数据和算力做对照实验,证明从头联合训练编码器不输预训练方案,视觉模块放进骨干前几层还能降低首 token 延迟,能直接指导你砍掉一条训练管线。
学术圈的架构实验常常算力不够、基线也对不上,这个平台用 scaling laws 让小实验先预测大模型的表现,还直接给了 Qwen3.5 和 OLMo3 基线。做模型架构研究的同学可以上去提交提案或复现别人被验证过的想法,不用每次都从头造轮子。
机构组合必须遵守投资授权规则,普通RL动不动就违规。这篇论文把六条合规规则学进策略里,违规率从96-98%降到4.8%,不需要事后拦截。做量化、资管或RL合规应用的人都该看看这套蒙特卡洛采样思路。
这篇论文回答了一个很实际的问题:标注数据不够时,MLE 智能体还能不能自动搭好训练流程。结果显示智能体在多数设定下能超过人工基线,但选哪个程序是个大坑,最多掉 47% 性能。做自动化机器学习或数据稀缺场景的工程团队值得看看。
这篇论文把 word2vec 时代的加性类比搬到了参数空间:meta-learned 网络适配不同函数的参数向量可以直接加减组合,减出来的网络不用训练就能跑对应函数。做少样本学习或元学习研究的人值得看看机制部分。
The matching lower bound means the algorithm is provably optimal in its oracle model, not just an empirical win. Interpretability researchers and teams auditing model behaviour on long prompts can reuse the backpropagation-sketching trick to cut attribution costs from linear in prompt length to near-constant in ε. Compared with prior forward-differentiation sketches needing Õ(log(n)/ε²) calls, the variance reduction is the concrete improvement to study.
这篇论文用 80 年代的 Hopfield 能量函数改出一个 CRAM,42ms 训练就能解出 99.996% 的 Sudoku-Extreme,比 looped 模型快 1000 倍、推理省 282 倍 FLOPs。做推理模型研究的人应该看看,还能顺手对 Sudoku 基准祛魅。
做保险定价或风控建模的值得看这篇:作者提出 MSS 距离来衡量模型重训前后结构变化,比只看预测稳定性更上游。论文用三个车险数据集实测,GLM 最稳,EBM 兼顾稳定和准确,还给 EBM 和 XGBoost 配了固定超参数等稳定化技巧,代价几乎为零。精算和合规团队可以直接借鉴这套评估流程。
这篇论文回答了一个很有意思的问题:模型明明没有记忆机制,怎么在长任务里一直记住目标。作者找到了具体负责的注意力头,还提出了 NRGS 解释,做模型可解释性或 agent 研究的值得看原始论文。
做 Apple Silicon 上 Metal 内核生成智能体的开发者可以看看这套开源基础设施,它把多台 Mac 的 GPU 调度起来,实测吞吐提升到 2 倍左右,还和 Harbor 打通自动验证流程,比单机排队跑 rollout 的方式省不少等待时间。
做 AI 对齐或学习理论的朋友可以看看这篇。它没停留在辩论博弈分析,而是把 debate 当学习问题建模,还发现对抗辩论未必是最优学习方式。做 scalable oversight 研究的人应该会感兴趣。
手工调 LBP 参数这事儿终于可以交给梯度了。FLEX-LBP 只学 90 个参数,推理开销不变,精度却超过 ResNet-50 特征和一堆经典 LBP 变体,做工业检测或医学图像分析的朋友可以直接拿 PyTorch 层来用。
实时视频翻译一直有个老大难:为了跑得快只看固定窗口,画面一久就不一致。这篇论文的思路挺巧——直接在输入帧之间找 patch 对应关系,用 cross-attention 把历史生成结果拉回来。做实时视频生成的朋友可以看看代码思路。
做 RLVR 训练的同学可以看看:当验证器只能判错不能判对时,这篇论文的 NOPO 干脆只用负样本更新策略,避免奖励投机解法。在代码、数学、逻辑基准上 pass@k 都跑赢了标准 RLVR 基线。
搞量子计算的朋友可以看看这篇。它测了冻结 LLM 在三种哈密顿量上生成电路参数的效果:结构化问题上有戏,随机问题上不如 Adam 优化。结论很实在,能帮你判断该不该把 LLM 用进变分算法流程里。
用数学证明蒸馏为什么有效:好处在优化更快,不在泛化更好。训练广义线性模型和做矩阵近似时能直接套用这些结论,做模型压缩的工程师和理论方向研究者都值得看。
一帮理论计算机科学家把自选择偏差下的线性回归从指数时间压到了多项式时间,连相关的 max-affine 回归也一并解决。核心技巧是 Hermite 矩加张量分解,跳过了旧方法的子空间穷举。做统计学习理论或潜变量模型的人值得翻翻原文。
做 Agent 多轮协作的人该看看:模型听到"专家不同意"就乱改答案,5 个模型全没达标,准确率最多掉 16 个点。论文给了套可复用的配对审计指标,直接能拿来测你自己的修订流程。
做手机 GUI 智能体或相关安全工作的话,这篇值得看:它不靠人工写死攻击载荷,而是顺着智能体实际执行轨迹自动找注入点,83 个实例覆盖 12 个应用,攻击成功率比人工和零样本 LLM 基线都高,可以直接当部署前审计工具用。
搞图神经网络的可以看看这篇,把边的增删事件单独编码,再用 RL 挑有用的边快照来增强训练。比直接喂原始时序图的常见做法多了显式信号,AUROC 和 AP 都涨了,还附消融实验。做社交网络分析或推荐系统时序建模的团队值得跑一下代码对比基线。
做生物启发学习或替代 BP 训练的人该看看这篇:预测编码加上一个侧向回路,就能隐式算 Fisher 逆矩阵。在 ImageNet 上比 AdamW 训的 BP 省一个数量级算力、两个数量级样本,性能还不掉。
想测模型的心智理论能力,可以看看这个 MuSeToM,2400 多个案例,覆盖六种感官线索。它发现模型能察觉信念要变,却经常推错变化后的内容,还容易被表面线索带偏。做 agent 和对话系统评测的值得一试。
做智能体评测、合成数据或 RL rollout 的团队值得看这篇。它把推理和环境调 preferring 调度放在一起优化,在 Ling-3.x 上实测 makespan 最多降 65%,分数不掉。如果你被批量跑任务太慢困扰,CAAS 那部分思路可以直接借鉴。
抑郁检测这块大多只输出标签,这篇换了个思路:先学健康人的情绪动态,再看偏离多远,还给出三个可解释的动力学指标。五个队列的 F1 数据都摆出来了,连在哪个数据集上不好使也写了,做医疗 AI 或多模态的可以看看
Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示,按人口比例计算,新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到,人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
8月13日凌晨,DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版(0813) 悄然上线,API、网页端、APP全量同步! 📊 硬核数据:从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升,已经不…
中国出口"新新三样":从打火机到爬墙机器人,世界不再只是买便宜货 我们观察到一组清晰的数据信号:中国出口的"新新三样"已经从过去的服装、家具、家电,换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏,而是发生在澳大利亚和巴西的实证样…
Kimi K3 沙盒逃逸:一次“无害”越狱,为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示,Kimi K3 因沙盒配置错误获得互联网访问权限,逃逸后行为克制——仅在 GitHub 搜索…
DeepSeek-V4-Flash-0731:当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径:截至本文撰写时,Dee…
Only the latest 2000 items are listed; for older ones see the daily archive