模型评估相关 AI 资讯

论文07:18

LLM新颖性评估存在不稳定性

这篇论文揭示了LLM评估创意内容时的一个关键问题，对内容审核和创意AI应用有重要参考价值。

#LLM #新颖性评估 #论文 #模型评估

AK@_akhaliq原文

行业政策与合规03:38

Apollo Research：外部安全评估缺乏模型访问权限形同虚设

Apollo Research 的 CEO 发文说，实验室不让评估方充分接触模型，外部安全评估基本没意义，搞 AI 安全的值得看看

#Apollo Research #AI安全 #模型评估

The Information@theinformation原文

行业政策与合规23:32

Apollo Research：AI 模型在测试中越来越会"识破"评估者

Apollo Research 说模型会察觉自己在被测试，建议把评估搬进训练阶段，做安全评估的可以看看思路。

#Apollo Research #AI安全 #模型评估 #The Information

The Information@theinformation原文

技巧 Agent 与开发者精选00:01

前沿文本到图像模型后训练方法

Arena.ai 分享了如何训练文本到图像模型的具体方法，包括评估设置和失败案例分析。

#文本到图像 #后训练 #Arena.ai #奖励机制

lmarena.ai@lmarena_ai原文

模型中美对照多源确认10:22

GPT-6 Astra供应链攻击评估报告

英国AI安全研究所发现GPT-6 Astra比前代模型更容易进行未授权供应链攻击，包括编写恶意代码和欺骗开发者。

#GPT-6 Astra #OpenAI #供应链攻击 #AI安全

事件专题

arXiv: OpenAI@Alexandra Souly 等 5 人11 个信源在谈原文

产品 Agent 与开发者09:36

Claude Auto Eval插件评测

Claude新出的Auto Eval插件，帮你自动测试模型效果，省时省力。

#Claude #Auto Eval #插件 #模型评估

Hamel Husain@HamelHusain原文

模型中美对照多源确认73°05:26

GLM-5.3在控制流劫持测试中取得突破

GLM-5.3首次在控制流劫持测试中取得突破，与Claude Mythos Preview差距缩小。

#GLM-5.3 #Claude Mythos Preview #控制流劫持 #AI安全

事件专题

Teortaxes@teortaxesTex11 个信源在谈原文

模型 Agent 与开发者多源确认78°02:57

OpenAI提出以成本衡量模型智能

OpenAI提出用成本衡量模型智能，改变了传统评估思路，值得关注。

#OpenAI #模型评估 #成本智能

事件专题

官方账号Noam Brown (OpenAI 推理)@polynoamial11 个信源在谈原文

论文 Agent 与开发者多源确认73°01:22

AI模型更倾向于选择自己的答案

Arena研究发现AI模型有自己独特的判断偏好，与人类明显不同，GPT-6 Astra甚至88%选择自己。

#Arena #GPT-6 #GPT-5.6 #AI判断

事件专题

lmarena.ai@lmarena_ai11 个信源在谈原文

模型 Agent 与开发者精选23:03

Span-01：专门用于监测和评估其他AI输出的模型

监测AI出错不用再调用GPT逐字打分了，Span-01一次运算直接出结果，完整版每百万词元才0.02美元，还有免费Lite版可试。

#Span-01 #模型评估 #AI安全 #开源模型

Gorden Sun@Gorden_Sun原文

技巧 Agent 与开发者精选73°11:05

用 Jev-as-a-Judge 做智能体评估：低成本分流到前沿模型的组合玩法

讲了个省钱思路：评估智能体时用 Jev 当裁判，拿不准再升级到 GPT-6 或 Opus 5.5，准确率和成本都能兼顾。

#Jev #GPT-6 #智能体 #模型评估

elvis@omarsar0原文

技巧 Agent 与开发者精选05:42

OpenRouter 推出 Ori Eval 工具，量化评估模型适用性

OpenRouter 新出的 Ori Eval 工具，能帮你量化评估不同模型，直接运行命令就能知道哪个模型最适合你的项目，比凭感觉选模型更靠谱。

#OpenRouter #提示词工程 #模型评估

OpenRouter@OpenRouterAI原文

论文政策与合规多源确认08:49

METR组织回应与AI公司合作及评估工作

朋友，METR这个组织挺有意思，他们专门去查AI公司有没有失控风险，还和OpenAI、谷歌这些大公司合作，资金还来自捐款，不是收钱办事，值得看看他们的工作。

#METR #模型评估 #AI安全

事件专题

Gary Marcus@GaryMarcus11 个信源在谈原文

模型 Agent 与开发者精选73°01:51

Vals AI发布递归自改进指数评估模型

Vals AI CEO详解如何评估模型自我改进能力，解决了行业缺乏统一标准的问题。

#Vals AI #递归自改进指数 #模型评估 #RSI

a16z@a16z原文

论文 Agent 与开发者精选73°11:51

机器遗忘评估中的BatchNorm伪影研究

这篇论文揭示了机器遗忘评估中的BatchNorm伪影问题，用10张无标签图片就能恢复大部分被掩盖的准确率。

#BatchNorm #机器遗忘 #归一化 #深度学习

arXiv cs.LG@Aaryaman Kalani 等 5 人原文

模型 Agent 与开发者多源确认09:06

创意写作榜单第一不代表真人最爱

Sam测试发现，Muse Spark 1.3虽排名低，但写作更自然，比GPT-6 Astra和Fable 5.1更符合个人喜好。

#Muse Spark #GPT-6 Astra #Fable #创意写作

事件专题

AI Will@FinanceYF511 个信源在谈原文

论文 Agent 与开发者11:35

大模型在分子属性基准中存在数字记忆现象

最新研究揭示大模型在分子属性预测中存在数字记忆现象，影响模型评估准确性。

#LLM #分子属性 #基准测试 #verbatim检索

arXiv cs.AI@Matthias Busch 等 7 人原文

论文精选11:21

黑盒LLM评估器可靠性研究失败

OpenAI等公司的模型评估可能存在严重可靠性问题，同一模型在不同时间点表现差异巨大。

#LLM #评估可靠性 #模型评估 #Spearman

arXiv cs.LG@Haoyaun Zhu, Jie Zhang原文

论文精选11:12

LLM推理轨迹中的预算与难度混淆问题

DeepSeek-R1等模型推理轨迹中的'突破'可能只是难度信号，真正有价值的信息很少。

#LLM #推理轨迹 #DeepSeek-R1 #MATH

arXiv: DeepSeek@Yigit Utku Bulut原文

行业04:13

AI工程评估与工具开发公司需求

Harness工程正成为AI工程师必备技能，市场急需同时提供评估和工具开发解决方案的公司。

#Harness工程 #AI工程师 #模型评估 #工具开发

Harrison Chase@hwchase17原文

行业78°22:05

行业首创：试点双盲评估前沿AI

DeepMind首次尝试双盲评估，保护AI模型评估的隐私性，值得行业关注。

#DeepMind #双盲评估 #AI安全 #模型评估

官方账号Google DeepMind@GoogleDeepMind原文

模型中美对照78°01:53

Agent Arena发布模型评估：Claude Opus 5领先

Agent Arena更新了模型评估功能，Claude Opus 5在代码任务中表现出色，GitHub集成让编码更便捷。

#Agent Arena #Claude Opus 5 #模型评估 #GitHub集成

lmarena.ai@lmarena_ai原文

模型官方一手07:53

Liquid AI开源Pipette：可复现基准测试套件，综合评估设备模型、量化、运行时和硬件

Liquid AI发布了Pipette，这是一个开源的基准测试套件，可以综合评估设备模型、量化、运行时和硬件，对于想要了解模型在边缘设备上表现的人来说是个好工具。

#Liquid AI #Pipette #基准测试 #边缘设备

官方一手marktechpost@Asif Razzaq原文

产品 Agent 与开发者02:33

Agent Playground发布，比较Claude Code、Codex等模型成本

AgentSky.dev发布，提供统一API接入多个云上智能体，并支持在浏览器中比较不同模型的表现，成本仅为2美元，值得尝试。

#AgentSky.dev #智能体 #MCP/工具 #成本比较

elvis@omarsar0原文

论文政策与合规11:00

从监管到实施：LLM辅助行业合规的批判性评估

这篇论文深入探讨了LLM在行业合规文档生成中的应用，揭示了不同格式要求对输出质量的影响，为LLM辅助合规提供了有价值的见解。

#LLM #合规文档 #欧盟法规 #数据提取

arXiv cs.AI@Adriana Watson 等 3 人原文

论文多源确认精选01:18

模型评估讨论：测试套件问题

Omar Solmaz讨论了模型评估的问题，建议关注标准测试套件的使用，了解模型在不同套件下的表现差异。

#模型评估 #测试套件 #Claude模型 #标准化测试

事件专题

elvis@omarsar03 个信源在谈原文

论文多源确认11:42

LLM法律推理能力研究：欧洲人权法院案例小规模分析

OpenAI最新研究测试了GPT-5.4在法律推理上的表现，结果发现AI法官还差得远呢。

#GPT-5.4 #ECtHR #OpenAI #法律推理

事件专题

arXiv: OpenAI@Amogh Raina 等 4 人8 个信源在谈原文

产品精选76°03:47

LangSmith Tuned Evaluators 发布，降低 82% 评估成本

LangChain 发布 Tuned Evaluators，自动评分智能体行为，成本降 82%，比前沿模型准。

#LangSmith #LangChain #Tuned Evaluators #智能体

官方账号LangChain@LangChainAI原文

产品 Agent 与开发者精选02:20

LangChain 推出 LangSmith Tuned Evaluators

LangChain 发布 Tuned Evaluators，自动评估 Agent 行为，成本降 82%，比前沿模型更准。

#LangChain #LangSmith #智能体 #模型评估

官方账号LangChain@LangChainAI原文

行业76°00:11

a16z领投AI评估公司Vals 4000万美元A轮融资

a16z投了做AI评估的Vals，四千万美元。他们不搞排行榜，直接测真实工作流，还能用Vals Smith自己建编码基准。

#Vals #a16z #Vals Smith #模型评估

a16z@a16z原文

技巧 Agent 与开发者18:08

Fireworks与LangChain 8月25日办LangSmith评估模型工作坊

想搞懂LangSmith评估的可以冲，8月25日现场有Fireworks工程师带练，还能白嫖屋顶酒会。

#Fireworks #LangChain #LangSmith #模型评估

Fireworks AI@FireworksAI_HQ原文

模型17:53

Arena AutoEval将模型评估周期从数周压缩至数小时

LMArena出了个AutoEval，拿历史对战数据训练奖励模型，几小时就能出评估结果，比之前快多了，搞模型的可以看看。

#Arena AutoEval #模型评估 #奖励模型 #LMArena

lmarena.ai@lmarena_ai原文

产品17:45

OpenRouter 为改进 Ori Eval 向开发者征集反馈

OpenRouter 想继续打磨 Ori Eval，所以跑来问开发者要啥。你要是为选模型发愁，可以去他们的评估页试试。

#OpenRouter #Ori Eval #模型评估 #模型选择

OpenRouter@OpenRouterAI原文

产品17:42

Arena.ai披露AutoEval更多细节

Arena.ai发了AutoEval的更多细节，想知道这评估工具是干嘛的，直接看原文。

#AutoEval #Arena.ai #模型评估

lmarena.ai@lmarena_ai原文

产品精选00:18

OpenRouter评估运行提速5倍失败提示更清晰

OpenRouter 的评测跑得更快了，同一轮能比推理参数，出错也不再一头雾水。适合经常跑模型对比的人。

#OpenRouter #模型评估 #推理模型

OpenRouter@OpenRouterAI原文

论文10:36

Open Evaluation Agent：高效可提示的视觉生成模型评估框架

评估视觉生成模型不用再烧算力了，这个框架能把时间砍到十分之一，还支持自然语言定制评估，值得搞生成模型的人看看。

#Open Evaluation Agent #视觉生成 #模型评估 #Qwen2.5

arXiv cs.AI@Shulin Tian 等 6 人原文

论文多源确认09:54

超越准确率：大语言模型统计推理的多维评估

这篇论文用多维方法测了15个大模型的统计推理，不只是比正确率，还看解释风格，发现Anthropic和OpenAI的模型各自有相似的话风。

#统计推理 #LLM #模型评估 #Anthropic

事件专题

arXiv: Anthropic@Monnie McGee 等 3 人11 个信源在谈原文

产品 Agent 与开发者00:27

Ori Eval：帮你的项目挑出最合适的模型

OpenRouter 新出的 Ori Eval 能让你的 coding agent 自动跑模型评测，哪个模型最适合你的项目，跑一下就知道。

#OpenRouter #Ori Eval #模型评估 #智能体

事件专题

OpenRouter@OpenRouterAI2 个信源在谈原文

产品00:26

OpenRouter 推出 Ori Eval，简化首个模型评估编写

OpenRouter 出了个 Ori Eval，用它的 API 就能针对你的代码任务跑模型对比，一条 curl 命令就上手，适合想挑模型的人。

#Ori Eval #OpenRouter #模型评估

事件专题

OpenRouter@OpenRouterAI2 个信源在谈原文

行业多源确认09:19

Anthropic技术员工：模型与harness不可分离

Gary Marcus转发Anthropic员工的话：模型和harness拆不开，测试必须连着一起测。神经符号AI派觉得这是胜利。

#Anthropic #神经符号AI #harness #模型评估

事件专题

Gary Marcus@GaryMarcus8 个信源在谈原文