12:51
官方账号arXiv cs.AI@Albert Gong, Kyuseong Choi, Abhineet Agarwal, Jason Schechner, Ryan Huang, Raj Agrawal, Anish Agarwal, Raaz Dwivedi
推荐理由：想看看编程Agent在真实值班场景有多靠谱？ORCA-bench给了1079个线上故障任务，最强模型也只答对四分之一。
ORCA-bench
共 1 条相关 AI 资讯
7月31日
12:51
ORCA-bench用一套运行六天的OpenTelemetry微服务系统，通过Prometheus、Jaeger和OpenSearch/Grafana接口暴露指标、日志和链路，共构造1079个值班根因分析任务。五个前沿智能体在Medium难度任务上最佳RCA准确率仅25.3%，Hard难度为10.0%。最弱模型在40%的故障报告中给出不合理根因；去掉源代码访问后所有指标下降。专家SRE对真值症状做了复核，LLM评判与人类评分加权kappa为0.90。