02:23
lmarena.ai@lmarena_ai
lmarena.ai@lmarena_ai精选
推荐理由：如果你经常在评测结果出来前纠结选哪个检查点，AutoEval 能提前帮你判断，分差够大时几乎不出错。
AutoEval
共 2 条相关 AI 资讯
7月31日
02:23
LMSYS Arena 推出 AutoEval，一种在完整评测结果出炉前比较候选模型检查点的早期信号。实验显示，当两个模型的 Arena 分数差≥10 分时，AutoEval 在超过 90% 的案例中正确识别出更高分模型；分数差≥15 分时，对所有测试对均正确排序。
02:16
02:16
向阳乔木@vista8
向阳乔木@vista8推荐理由：Arena.ai 出了 AutoEval，用真实用户偏好训练奖励模型，几个小时就能评测新模型，比人工快几十倍，结果还跟人工差不多。