AgentS4D 用 328 个风险案例测了 20 种智能体组合,发现 66% 的测试任务虽然完成但实际不安全,别光看结果。
Latest
这篇论文搞了个CodeSpec,让代码智能体在仓库里加新功能时先建可执行规范,在FeatureBench上用DeepSeek-V4-Pro跑到70.7%通过率,比Claude Code靠谱不少。
想测AI罕见病诊断能力?GraphRareBench用2365个案例和18093对混淆,专门检测模型能不能分清真病和假病。
这篇论文发布了一个综合框架,让你看到当前LLM在社会智能上的短板(最高才72%),并提出Zing训练和Actio推理搭配,能显著提升表现。想了解模型怎么更懂社交规矩的可以看看。
想知道 AI 定理证明在量子计算领域到底多强?这篇论文给了两个新基准和四个模型实测分数,LAD 方法能提升最高 15.9 分,很实在。
这篇论文展示了如何在华为Ascend芯片上高效后训练万亿参数模型,并且通过运筹学专用微调,在特定任务上超越了GPT-5.4-Mini。
Solar Open 2 发了,250B MoE 模型,1M token 超长上下文,专门跑复杂智能体任务。MMLU-Pro 和 LiveCodeBench 都领先,韩语能力还特别强,比 DeepSeek-V4-Pro 小很多但性能接近。
论文提出DARWIN,用进化算法同时生成攻击和训练防护,在DeepSeek-V4-Pro和GPT-5.5上攻击成功率超高,安全召回率也强。
这篇论文搞了个P-EVAL框架来评估农业AI的安全性,Pezego-HITL架构在加纳测试,延迟降了55%,还挺靠谱的。
这篇论文用STOCKTAKE基准把LLM智能体的‘没看懂’和‘看懂了却没行动’分开了,四个主流模型的表现差距比想象中大。
论文搞了个8B的小模型FATE,专门给AI老师打分,比蒸馏前涨了22个点。还顺便测了Gemini、ChatGPT等,Gemini 2.5 Flash得分最高,挺有意思。
这篇论文提出了EYT-Bench,能更真实地测出LLM在多轮对话中的意图追踪能力。用16/17模型发现推理模式大幅提升长上下文准确率,值得关注。
终端代理训练数据难找,SETA开源了4500+环境的RL数据集,Qwen3-8B训后Terminal-Bench拿到12%,顺带还让DeepSeek-V4涨了分,搞终端AI的别错过。
这篇论文实测了华为昇腾跑MoE和多模态大模型的工程代价——需要打12个补丁、关掉一堆特性才能不出错,想用非GPU加速器的团队先看看这个。
DeepSeek-V4搞了个新框架DSpark,把生成和验证分开调度,用户实际体验加速60%到85%,还不会拖慢系统吞吐。
别浪费算力跑进化循环了——这篇论文实测发现多轮迭代没用,用一次采样加集合选择反而效果翻倍,还省了90%的调用成本。
这篇论文给出了一个实用技巧:用蒸馏扩展支持域再强化学习,在数学和代理任务上都涨点明显,而且不需要改动模型结构。
Refploit能自动修复代码智能体生成漏洞利用时出错的部分,用DeepSeek-V4-Flash在143个Java漏洞上做到80.2%成功率,比PoCGen和GPT-5.4驱动的Codex都强。搞漏洞研究的人可以关注。
这篇论文提出一个叫AutoTrainess的智能体,能自己跑模型训练流程,不用人盯着。在PostTrainBench上比纯命令行强,还能帮DeepSeek-V4涨分。
这篇论文实验发现,对评估器做概率校准能把偏好耦合降低20-49%,效果显著,推荐给做LLM评估管线的朋友。
35B的模型干翻万亿参数?Agents-A1用长视野扩展和智能体框架做到,基准全面领先,值得看看怎么训练的。
这个新基准EMPATH专测情感支持聊天机器人的安全漏洞,用AI模拟求助者进行多语言多轮对话,发现主流模型评分虚高且不稳定,值得一做。
这篇论文用信号覆盖矩阵把自动形式化的错误拆成类型和语义两类,告诉你每个方法的增益到底来自哪,而不是只看总分。
DeepSeek-V4新出的HyperDFlash框架,用门控缩减和蒸馏让推测解码提速,比MTP和DFlash都厉害。
这篇论文发现用有偏评估者训练智能体,偏差会像病毒一样通过记忆传染给后来者。旧模型DeepSeek V4-Chat中招,Claude和V4-Pro没事,权威偏见传不出去。
这篇论文用DeepSeek-V4-Flash生成了上万条验证过的Polkit规则,并通过消融实验证明结构化上下文不是锦上添花,词汇表才是提升语义质量的关键。
Moonshine 把数学研究从“解题”推向“猜想的自动生成”,做AI for Science或数学自动化的研究者值得关注,它展示了智能体如何自主发现并推进新问题。
LSA 解决了超长上下文推理的 GPU 内存瓶颈,做长文档分析或大规模序列建模的团队可以直接参考其稀疏注意力方案,显著降低部署成本。
RAG系统开发者需要警惕这种低成本、隐蔽的间接注入方式——它不依赖命令,而是冒充元数据,做AI安全的团队建议仔细看论文中的缓解方案。
做 LLM Agent 开发的团队终于有了一个系统化的技能进化方法,不用再靠试错和启发式反思——Bayesian-Agent 用后验概率指导优化,效果显著且可审计,建议直接看论文和代码。
做奖励模型或 LLM 评估的团队终于有了一个轻量级替代方案——不用每次生成评分标准,而是合成可复用的评估技能,效果还比传统方法好很多,值得在 RewardBench 上跑一下自己的模型。
该研究揭示了记忆增强AI代理在敏感信息使用上的关键盲区,做对话系统和个性化AI的开发者值得关注——它直接关系到用户隐私和信任。
形式化定理证明一直门槛高、成本高,Goedel-Architect 用蓝图+精炼策略大幅提升效率,做数学证明或形式化验证的团队值得关注,开源且成本极低。
这篇论文揭示了标签选择能显著改变模型对误导信息的采纳率(最高差 84 个百分点),做 RAG 系统或上下文增强应用的开发者需要警惕:你用的标签可能无意中放大了错误信息的影响。建议点开了解如何控制这一变量。
做LLM评估或模型对齐的团队会关心:这篇论文给出了在有限标注预算下选择校准策略的实用指南,建议直接参考其机制图来优化你的法官面板配置。
做大规模 LLM 推理部署的团队,这篇论文给出了跨 GPU 注意力优化的新思路——路由查询而非移动缓存,实测能大幅降低延迟。建议关注其成本模型和决策谓词,可直接用于优化自家推理系统。
做多语言智能体或网页浏览任务的团队会立刻意识到差距——韩语场景下最强模型准确率不到一半,说明现有评估严重偏向英语。做韩语 NLP 或本地化产品的开发者可以直接用这个基准测试自己的模型。
城市气候监测和热风险分析团队终于有了一个兼顾传感器预算和布局约束的实用方案——GNN在稀疏数据下比传统插值法更准,做城市热岛效应或极端高温预警的可以直接参考。