Primary sourcearXiv cs.AI
View sourceEvent ·Multi-source
TCSExam 基准测试:评估前沿 LLM 在理论计算机科学研究中的能力
TCSExam 是一个覆盖理论计算机科学(TCS)全领域研究的统一评测框架,考察定理证明、求解器工程、构造方法以及求解开放猜想的能力。TCSExam-Full 包含 100 个专家审核的任务,提交结果由 Lean 内核或可执行任务检查器验证;TCSExam-Lite 从中选出 20 个任务,在相同单次尝试预算下减少 80% 的任务尝试量。评测结果显示,GPT-6 Astra 在 Full 版以 71.9 的 TCSExam Index 排名第一,Opus 5.5 在 Lite 版以 72.3 领先,两个版本的排名在八个共同评测的智能体上高度一致(Spearman ρ=0.93)。评测还产出了改进的求解器输出和数学构造,并获得了开放猜想尝试中经独立验证的特殊情形与界。
Current read
理论计算机科学版的 LLM 考试来了:GPT-6 Astra 和 Opus 5.5 分别拿下两个版本第一,还真能推进一些开放猜想的特殊情形,做研究的人可以看看这套用 Lean 验证的评测框架。
11 sources53° AI heatLast updated 2026/11/5 12:58:43
Evidence
11 sourcesRelated source 1Artificial Analysis
View sourceRelated source 2lmarena.ai
View sourceRelated source 3rohanpaul_ai
View sourceRelated source 4Bindu Reddy
View sourceRelated source 5DAIR.AI
View sourceRelated source 6shao__meng
View sourceRelated source 7Lxfater
View sourceRelated source 8Simon Willison’s Weblog
View sourceRelated source 9宝玉
View sourceRelated source 10Decoder
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.