Latest
想看看AI能不能真的帮你改测试？这个新基准用真实Git提交来考Claude Code和SWE-Agent，比静态测试更贴近实际开发。
想用AI批改Linux命令作业？试试Gemini 3.0 Pro加评分rubric，人机一致性高达0.888。
这篇论文告诉你当前最强模型在临床推理上有多弱：关键问题正确率不到一半，而简单问题却能答得很准。适合想了解模型真实局限的读者。
想让你家 32B 模型在长任务上干翻 Claude 和 Gemini？试试 AutoMem——不动任务行为，只优化记忆管理，效果翻倍。
Claude Opus 4.7居然能自动给MPI软件加上检查点恢复，50分钟搞定，效果媲美人工，HPC开发者可以解放双手了。
如果你对多语言OCR或印地语文本识别感兴趣，这篇论文揭示了主流模型在天城体上的真实差距，尤其是GPT-5.5表现不如开源Qwen3-VL-8B。
这篇论文发布了MacAgentBench，一个包含676个macOS桌面任务的智能体基准。它用细粒度评分发现Claude Opus 4.6配合OpenClaw能拿到73.7%的正确率，而且不同模型表面分一样但实际完成能力差很多，值得研究智能体的去看。
这篇论文为你演示了如何用LLM做经济理论研究，重点不是让模型生成答案，而是设计验证流程来确保结果可靠，三种方法对比很清楚。
想看看AI在药物发现中到底行不行？这个基准测试用4800条轨迹告诉你，Claude Opus 4.8和GPT-5.5都还差得远，最高才59.3%的通过率。
动物福利问题有了AI专属的代理基准TAC，实测Claude Opus 4.7刚过一半，加个提示词能暴增60%，暴露了模型在实际行动中的盲区。
这篇论文测试了GPT-5.5、Claude Opus 4.7和Qwen3-Coder-Next用智能体写并行Julia代码，在超算上跑192核，发现小规模还行，大规模容易死锁或OOM，开源模型最差。做HPC或Julia并行开发的人值得看。
做 AI 编程智能体或评估基准的团队，这篇论文揭示了主流基准（如 SWE-Bench）掩盖的能力差距——强智能体在陌生语言上的元编程策略值得借鉴，建议点开看具体实现方法。
做 AI 模型评测或选型的人必须看——这篇研究用严格对照实验证明，你看到的模型能力分数可能更多反映的是 scaffold 设计而非模型本身，建议重新审视自己的评估流程。
这个基准直击当前 AI 智能体在研究场景中的短板——不是执行能力不够，而是缺乏研究者的细腻判断。做 AI 评估或智能体开发的团队值得关注，它揭示了提升 AI 研究素养的新方向。
AutoLab 填补了现有基准只测短周期任务的空白，做 AI 智能体研究和开发的团队可以直接用它来测试模型的持久迭代能力，值得关注。
这篇论文揭示了AI编程工具中重试策略的安全隐患，并给出了更优的重采样方案。做AI安全或使用Claude Code/Codex的开发者，建议看看具体实验数据和结论，避免踩坑。
做材料本构建模的团队终于有了靠谱的AI助手——双智能体框架自动生成物理有效的模型，省去手动校验的繁琐，建议做固体力学或生物力学仿真的开发者点开看看。
做AI安全评估或生物研究合规的团队，这个基准能帮你避开“拒绝率越高越安全”的误区——Grok 4.20的案例值得点开看看。
管理咨询团队和依赖AI做深度分析的开发者会震惊——三个最先进的DRA在专家级任务中通过率不到22%，且各有致命短板。想避免被AI的自信输出误导，建议仔细看这篇评测的失败模式分析。
这个实验戳破了AI漏洞发现能力的泡沫——即使给定了目标文件，顶级模型复现已知漏洞的成功率也极低。做AI安全评估或漏洞研究的团队，看完会重新审视benchmark的可靠性。
做 LLM 智能体长期记忆系统的团队会发现，现有方案在依赖推理上几乎失效——MEME 基准暴露了被忽视的盲区，值得点开看看你的系统能否通过级联和缺失任务。
该基准填补了形式化定理证明中奖励模型评估工具的空白，揭示专用定理证明模型在评估任务上的不足，为改进RL训练信号提供了明确方向。