#AutoEval
14 stories · 0 in 7 days · 0 in 30 days
Stories, products and papers tagged "AutoEval", newest first.
Sep 11
Aug 26
Products23:36
Chinese contentCode Arena WebDev 排行榜发布想看看你的代码水平如何？来 Code Arena 的 WebDev 排行榜看看吧，还有 AutoEval 评分系统哦！
Aug 13
Papers18:05
Chinese contentLMArena发布AutoEval自动评测方法论视频与文章LMArena这段视频把AutoEval评测方法讲得挺清楚，还配了文章，想研究模型评测的可以戳进去看看。
Products17:58
Chinese contentArena.ai 发布排行榜详情与 AutoEval 介绍Arena.ai 发了排行榜和 AutoEval 介绍，想对比模型表现和了解自动评估方式的可以看看。
Aug 1
Chinese contentInkling-Small进Text Arena，12B激活参数排名约88
Inkling-Small只用12B激活参数就逼近DeepSeek V4 Flash，开放模型里排21名，少算力也能打，关注后续人投排名。
Jul 31
Chinese contentArena.ai 推出 AutoEval：基于用户偏好的模型快速评估方法
Arena.ai 搞了个新评估 AutoEval，用千万用户偏好打分，几小时出结果，比人工快多了，排行榜直接看分数。
Chinese contentInkling-Small 发布，276B参数12B活跃，Text Arena排名#88
Thinking Machines 新出的开源模型，276B 参数但只激活 12B，一发布就挤进 Text Arena 前 100，美国厂商里排前几，想试大参数但轻量推理的可以看看。
Models02:26
Chinese contentAutoEval 如何产生 Arena Score：基于奖励模型的评分流程想知道 Arena 排行榜上的自动评分怎么算的吗？这篇解释了 AutoEval 如何用数百万人类投票训练奖励模型来给新模型打分，快且透明。
Chinese contentAutoEval文本奖励模型：预测人类偏好比前沿LLM裁判准确8-10%
Chai团队搞了个AutoEval奖励模型，预测人类偏好比GPT-4之类还准8-10%，新模型刷榜前先看它评分，省得等人类投票。
Models02:16
Chinese contentArena.ai 推出 AutoEval：基于数百万真实用户偏好的奖励模型评测方法Arena.ai 出了 AutoEval，用真实用户偏好训练奖励模型，几个小时就能评测新模型，比人工快几十倍，结果还跟人工差不多。
