#trace-based evaluation

1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "trace-based evaluation", newest first.
Nov 11
Chinese contentarXiv 论文对比三种智能体评估框架:trace 评估 F1 达 0.90

做智能体评估的同学该看看这篇。它用同一批 trace 实测了三种评估框架:trace-based F1 到 0.90,纯文本方案误报多 5 倍,还有 24 个功能测试和安全红队零重叠的新失败。结论很实在:功能评估用 trace,安全验证用红队,两条腿走路。

arXiv cs.AI@Howard Zhang et al. (6)Source
trace-based evaluation · AI news | AITOP