#benchmark

有人拿 8 个决策模型打 Tetris，Perplexity Decider 稳居第一，还能自己在 playground 里复现，挺好玩的。

Aravind Srinivas@AravSrinivas原文

做了个基准 SWE-Serve，用 SGLang 的 53 个真实任务测智能体写推理工程代码，发现三分之一的补丁看着过了测试、上线就翻车。

This paper presents a new benchmark and memory method that could significantly improve the performance of AI agents in long interactions. It's a must-read for anyone interested in AI memory systems and benchmarks.

想做办公自动化？这个新基准用真实成本告诉你：现在LLM虽便宜但还没人类靠谱，值得看看差距在哪。