Chinese contentarXiv 论文提出分层统计框架量化智能体系统可靠性
做智能体评估的朋友该看看这篇:它把 pass@k 这类指标配上了有限样本方差,还能把执行噪声和任务本身的难度差异分开。如果你在纠结跑多少次采样才算数、或者 Thinkingbox 上模型忽好忽坏怎么解释,这篇文章给了统计上的答案。
做智能体评估的朋友该看看这篇:它把 pass@k 这类指标配上了有限样本方差,还能把执行噪声和任务本身的难度差异分开。如果你在纠结跑多少次采样才算数、或者 Thinkingbox 上模型忽好忽坏怎么解释,这篇文章给了统计上的答案。