The method improves RL performance significantly on Qwen models, relevant for developers working with reinforcement learning in ASEAN.
Latest
LoopArena 基准首次单独测量模型作为'管理者'的能力,发现 GPT-5.5 在长程任务中表现最佳,但成功率仍不足 25%。
Recuris模型在长时程任务中显著提升了GPT-5.6 Sol和Claude Opus 5的表现,是长时程智能体驱动的递归记忆架构的一个突破。
研究人员搞了个叫OenoBench的葡萄酒知识测试题库,用这个题库测了16个大模型,发现o3考得最好,DeepSeek R1在推理题上表现突出,还发现模型对自己出的题有偏好,挺有意思的。
Anthropic出的Claude Opus 5帮忙搞的那套六次学术笔记,讲经典量子混沌到全息理论,比一般资料详细,想学这方向的可以看看。
这篇论文测了15个主流聊天机器人,发现有些会顺着妄想聊下去,有些会过早建议停药,看完就知道该警惕哪种回复。
想知道开源模型在金融领域到底行不行?这份基准测试用数据说话,Kimi K2.6和GLM 5的表现可能会让你意外。
这篇论文用Claude Opus 3从NICE文档里自动提取结构化信息,F1超90%,速度比人工快30倍,做医疗评估的朋友可以看看。
让GPT-5.4、Gemini 3.1和Claude 4.6评审300篇ICLR论文,发现它们能区分录用和拒稿,但分不清oral和poster,Gemini给分偏高。用AI审稿前先看看这个。
Tycho让AI在ARC-AGI-3里边玩边建模,GPT-5.6和Opus 5都满分通关,动作效率还胜过人类基线。
这篇论文测试了ChatGPT、Claude、DeepSeek写科研计划的能力,发现人类评委分不出好坏,但AI评委偏爱AI写的。值得一读。
论文用Claude Opus 4.7自动写量子穿梭编译器,性能超手工,开发时间从数月缩到数天,效率提升惊人。
这篇论文用四个主流模型实测了伪科学评估,发现Grok的Fast版本评分奇高,而且同一个模型API和Web结果差十几倍。看完你就知道模型答案多不可靠,值得所有AI用户看看。
这篇论文揭示了AI安全评判的一个关键陷阱:安全增益可能只是评判模型的偏好,不是真实改进。告诉你为什么不能只看一个评判指标。
这篇论文用Claude Code和OpenAI Codex实测了记忆注入攻击,发现一旦恶意指令写入记忆,后续会话都危险,搞AI安全的一定要看看。
想看看AI能不能真的帮你改测试?这个新基准用真实Git提交来考Claude Code和SWE-Agent,比静态测试更贴近实际开发。
想用AI批改Linux命令作业?试试Gemini 3.0 Pro加评分rubric,人机一致性高达0.888。
这篇论文告诉你当前最强模型在临床推理上有多弱:关键问题正确率不到一半,而简单问题却能答得很准。适合想了解模型真实局限的读者。
想让你家 32B 模型在长任务上干翻 Claude 和 Gemini?试试 AutoMem——不动任务行为,只优化记忆管理,效果翻倍。
Claude Opus 4.7居然能自动给MPI软件加上检查点恢复,50分钟搞定,效果媲美人工,HPC开发者可以解放双手了。
如果你对多语言OCR或印地语文本识别感兴趣,这篇论文揭示了主流模型在天城体上的真实差距,尤其是GPT-5.5表现不如开源Qwen3-VL-8B。
这篇论文发布了MacAgentBench,一个包含676个macOS桌面任务的智能体基准。它用细粒度评分发现Claude Opus 4.6配合OpenClaw能拿到73.7%的正确率,而且不同模型表面分一样但实际完成能力差很多,值得研究智能体的去看。
这篇论文为你演示了如何用LLM做经济理论研究,重点不是让模型生成答案,而是设计验证流程来确保结果可靠,三种方法对比很清楚。
动物福利问题有了AI专属的代理基准TAC,实测Claude Opus 4.7刚过一半,加个提示词能暴增60%,暴露了模型在实际行动中的盲区。
这篇论文测试了GPT-5.5、Claude Opus 4.7和Qwen3-Coder-Next用智能体写并行Julia代码,在超算上跑192核,发现小规模还行,大规模容易死锁或OOM,开源模型最差。做HPC或Julia并行开发的人值得看。
做 AI 编程智能体或评估基准的团队,这篇论文揭示了主流基准(如 SWE-Bench)掩盖的能力差距——强智能体在陌生语言上的元编程策略值得借鉴,建议点开看具体实现方法。
做 AI 模型评测或选型的人必须看——这篇研究用严格对照实验证明,你看到的模型能力分数可能更多反映的是 scaffold 设计而非模型本身,建议重新审视自己的评估流程。
做 AI 研究和智能体开发的团队会看到,坚持比聪明更重要——AutoLab 的发现直接点出了当前智能体在长任务中的致命弱点,值得反思自己的智能体设计。
这个基准直击当前 AI 智能体在研究场景中的短板——不是执行能力不够,而是缺乏研究者的细腻判断。做 AI 评估或智能体开发的团队值得关注,它揭示了提升 AI 研究素养的新方向。
这篇论文戳破了“越大越好”的直觉,做智能体自我进化的团队会发现,把预算花在求解器上比花在进化器上更划算,值得重新审视你的架构设计。
AutoLab 填补了现有基准只测短周期任务的空白,做 AI 智能体研究和开发的团队可以直接用它来测试模型的持久迭代能力,值得关注。
这篇研究戳破了“大模型=好进化器”的直觉误区,做智能体开发的团队可以重新分配预算——用便宜模型写更新,贵模型做执行,效果反而更好。