卡帕西提出 AI 测试新思路：让 Claude Opus 5 用 100 万 Tokens 构建《指环王》3D 场景
Karpathy 的新测试：让 Claude Opus 5 用 100 万 tokens 把《指环王》开头做成 3D 场景，2 小时生成了 5500 行代码。
#基准测试
共 633 条 · 7 天 31 条 · 30 天 143 条
8月5日
VulcanBench实测：Qwen3.8-Max慢且贵，要准确率选Grok 4.5、要性价比选DeepSeek V4-Flash
VulcanBench 实测：Qwen3.8-Max 跑一趟 126 美元，DeepSeek V4-Flash 只要 13.6 美元，便宜 10 倍还更快。选性价比就 DeepSeek，选准确率就 Grok 4.5。
8月4日
8月3日
阿里qwen3.8-max空降综合榜第五，字节seedream-5.0-pro生图第六
阿里新模型qwen3.8-max一上榜就冲到综合第五，只比榜首Claude差13分；kimi-k3-max代码也进了前十，国产模型进步挺明显，榜单值得翻翻。
论文09:39
DungeonBench：D&D战斗的规则密集型战术推理基准DungeonBench用D&D战斗测AI战术推理，分单场和连战两关，发现大模型会打单场却管不好资源，想测AI决策的可以看看。
8月2日
8月1日
GPT-5.6 家族 Sol/Terra/Luna 登陆 LMArena 全栈榜单
OpenAI 的 GPT-5.6 三兄弟开测，Sol 全栈第 3，Terra 和 Luna 也进 top20，挑模型看这个。
Inkling-Small 发布：未刷新上限，紧邻头部模型
Thinking Machines 新出的 Inkling-Small 虽然没登顶，但官方给了它和头部模型的对比图，想了解它大概什么水平可看。
7月31日
论文12:57
PAIChecker：检测SWE-bench类基准中PR与Issue不对齐做代码基准测试的朋友可以看看，PAIChecker能自动揪出PR和Issue配错的情况，SWE-bench上准确率超九成。
7月30日
OpenAI称GPT-5.6 Sol在定制ARC-AGI-3测试中超越Opus 5
OpenAI推出GPT-5.6 Sol，在自定测试里赢了Anthropic的Opus 5，但换官方环境就掉到7.8%，差距挺大。
APEX-Accounting基准：评估九个前端模型会计能力
想看看AI到底能不能做会计？新出的APEX-Accounting基准拿160道真实会计题考了九个模型，最强Claude Fable-5才56%，离实际干活还差得远。
论文10:58
MemSecBench：追踪智能体记忆从持久化到后果与修复的中毒过程这篇论文搞了个MemSecBench，专门测AI记忆会不会被黑，结果84%的案例恶意记忆都能长存，而且不同记忆系统差别很大，做AI安全的朋友应该看看。
模型10:38
Setoka：评估个性化智能体层次化用户理解的新基准如果你想了解现有AI智能体到底能多深地理解用户，这个新基准Setoka用心理学理论和方法测出了它们的短板——不只是翻聊天记录，还要推断行为和性格。
Cline团队用Kimi K3自我优化，17小时提升Terminial Bench分数11.3%
Cline让Kimi K3自己当工程师优化测试框架，17小时得分从77.5%涨到88.8%，成本还降了快一半，挺有意思的实验。
7月29日
论文11:59
Desktop-Delta Bench：评估计算机使用模型对桌面GUI转换的理解想测试你的桌面Agent到底能不能分清操作后的界面变化？这个新基准有2000多个真实案例，能看出模型在哪类失败上翻车。
论文11:13
多轮多模态临床诊断推理基准ClinMM-Bench发布临床诊断AI评估有新基准了！1089个真实案例、3760张影像，15个模型测试下来发现，再好的模型完全正确诊断率也不高，而且容易犯信息整合错误和视觉幻觉。
论文09:14
GraphRareBench：基于图谱证据的罕见病表型驱动诊断基准想测AI罕见病诊断能力？GraphRareBench用2365个案例和18093对混淆，专门检测模型能不能分清真病和假病。
Anthropic 联合三所大学发布 LLM 密码分析基准 CryptanalysisBench
Anthropic 和欧洲几所高校搞了个新基准，专门测大模型破解密码的本事，比单纯看推理能力更有针对性。
Grok 4.6 将于8月7日发布，Grok 4.5 在Agent Arena排名第13
xAI发了Grok 4.6发布预告，同时4.5在Agent Arena上冲到了第13名，比4.3进步了16名，尤其Bash Recovery能力追上了Claude和GPT，推荐关注。
Code Arena 推出全栈能力评测，Kimi K3 位列第一
Code Arena 刚上线了全栈能力排行榜，Kimi K3 拿了第一，GPT 5.6 和 Claude Fable 紧随其后，想比模型写代码能力的可以看看。
7月28日
Claude Opus 5 在 LMSys 事实性排名中登顶 Text Arena
如果你看重模型回答的准确性，LMSys 新出的事实性排名很有参考价值。Claude Opus 5 这次在最重视事实的榜单上拿了第一，比之前只看人类偏好的排名更实在。
Kimi K3 在 FrontierCode 1.1 Extended 上得分 58.2%，通过率 63.6%
Kimi K3 在真实工程任务基准上拿了 58.2%，而且在 Devin 里特别擅长修 bug 和管理环境，值得做开发的看看。
7月27日
