Trace2Eval：从真实交互轨迹构建编程智能体评测基准

arXiv 论文 Trace2Eval 提出从真实用户交互轨迹动态构建编程智能体评测基准的流水线，替代依赖静态公共任务的现有 benchmark。该方法用多智能体重建系统恢复原始用户查询、还原工作区文件并重建等效执行环境，再通过标注者对齐迭代细化人工评分标准，并用源码与运行时证据校准 judge 智能体。基于 Trace2Eval 反馈，19 个 model-harness 配置平均得分提升 10.05 个百分点，其中 DeepSeek-V4-Pro 配合 Claude Code 最高提升 19.28 个百分点。