Primary sourcerohanpaul_ai
View sourceEvent ·Multi-source
CMU 论文:Opus 5.5 + Claude Code 搭建的系统在 Singularity-Bench 上超越 SGLang
卡内基梅隆大学发布新论文 Singularity-Bench,给智能体布置 6 项端到端工程任务,包括预训练一个模型、搭建推理服务引擎和集群编排器,每项结果都和 SGLang、NVIDIA Dynamo 等生产级系统在同一批 GPU 上对比打分。 测试中 Opus 5.5 加 Claude Code 实际搭出了预训练管线、推理引擎和集群编排器三项完整系统,其推理服务引擎每 GPU 小时产出 11.52 美元,对比 SGLang 的 8.18 美元高出约 40%。 在总指标 Singularity-Index 上,Opus 5.5 拿到 1.25(1 等于人类基线),其余 10 个智能体平均只有 0.58。这篇基准把智能体评测从问答和代码片段推进到完整生产系统层面,对评估智能体的真实工程能力有参考价值。
Current read
CMU 这次不考答题了,直接让智能体搭整套生产系统跟 SGLang、NVIDIA Dynamo 硬碰硬。Opus 5.5 做出的推理引擎每 GPU 小时赚 11.52 美元,比 SGLang 的 8.18 还高。做智能体评测和基础设施的工程师都该看看评分方式。
11 sources63° AI heatLast updated 2026/11/13 19:54:37
Evidence
11 sourcesRelated source 1orange.ai
View sourceRelated source 2NVIDIA AI
View sourceRelated source 3Tech in Asia
View sourceRelated source 4The Rundown AI
View sourceRelated source 5LMSYS Org (SGLang)
View sourceRelated source 6CoreWeave
View sourceRelated source 7Clement Delangue
View sourceRelated source 8AWS Machine Learning Blog
View sourceRelated source 9Amazon Science
View sourceRelated source 10TestingCatalog
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.