Annotrace 发布：面向 Agent 轨迹的步骤级标注工作台

arXiv 论文 Annotrace 专注于解决 LLM Agent 失败分析中的人工标注难题，支持 OpenTelemetry GenAI、LangSmith、Langfuse 等 6 种轨迹格式，把每次运行转换为有序嵌套的步骤列表。研究者可自定义标注 codebook，由前沿模型基于样本轨迹提出初始标注集，并回答与人类完全相同的问题，形成人机协同标注流程。在多智能体问答语料上，它精确复现了此前人工标注的 235 个标注单元，两个模型对同一批轨迹的标注一致率达 91%，κ=0.82。