13:46Ethan Mollick@emollickEthan Mollick在推文中建议AI实验室应推出易于观看的模型对比示例,比如展示Luna xHigh、Terra Medium、Sol Low在相同任务上的输出,或类似Haiku、Sonnet、Opus、Fable的对比。他认为需要展示错误率变化及用户在不同版本间的选择倾向,以帮助用户理解模型差异。行业模型对比AI评测HaikuSonnetOpus推荐理由:让用户直接看不同模型在同一任务上的输出对比,比只看基准数字直观多了,还能知道哪个实际表现更好。原文
12:31Ethan Mollick@emollickOpenAI 为新模型 GPT-5.6 开发了高质量自主任务基准 GDPval,但未公开该基准的测试结果。该基准旨在评估模型在困难任务上的自主能力,开发成本高昂。外部评论者指出 OpenAI 在指标讨论中回避关键数据,引发透明性质疑。AI模型GPT-5.6OpenAIGDPval自主任务AI评测10 个信源在谈推荐理由:OpenAI 自己搞了个硬核自主任务基准 GDPval,花了大钱,结果 GPT-5.6 的成绩藏起来了。背后有啥故事?不点进来看看?原文
12:19lmarena.ai@lmarena_aiArena 是一个从 UC Berkeley 研究项目起步的 AI 评估平台。推出评估产品仅8个月后,其年化收入运行率突破1亿美元。平台推出 Agent Arena,用于评估长期运行的智能体在复杂现实任务中的表现,包括工具使用、任务完成率和幻觉率。目前 Arena 拥有数千万用户。AI产品ArenaAgent ArenaUC Berkeley智能体评估AI评测推荐理由:Arena 8个月做到1亿美元年收入,它的 Agent Arena 能测 AI 智能体在真实任务里的表现,比传统投票评测更硬核。原文
22:25官方账号Clement Delangue@ClementDelangueHuggingFace CEO Clement Delangue 在 X 上发帖,指出当前 AI 评测存在结构性缺陷:它们倾向于让闭源 API 受益,因为这些 API 可以在后台进行路由、回退、集成和优化,而缺乏透明度。他以 @ArtificialAnlys 的评测为例,质疑将一个模型与两个模型进行比较是否公平。该帖引发广泛讨论,反映了开源社区对评测标准公正性的担忧。行业AI评测闭源API开源社区透明度HuggingFace推荐理由:AI 评测的公平性直接影响模型选择和技术方向,做模型选型或评测的开发者值得关注这个争议,看完会重新审视排行榜的参考价值。原文