AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：模型评估×
6月25日
23:59
6月24日
09:38
09:38arXiv: Anthropic@Guruprakash J, Krithika L. B
该综述将Transformer架构分为encoder-only、decoder-only、encoder-decoder、长上下文、置换基与生成对抗等变体，并涵盖2023年后指令微调、RLHF、DPO、MoE、RAG等进展。它梳理了OpenAI、Anthropic、Google、Meta、Mistral、DeepSeek等主流模型家族。在应用侧调研了医疗、金融、法律、教育等7个领域的部署。论文从参数规模与能耗的权衡、对齐方法、数据溯源及基准饱和四个维度评估模型。它还点名了值得关注的开放研究问题。
论文Transformer语言模型综述架构比较模型评估
推荐理由：想快速搞懂主流Transformer架构和各家模型？这篇综述帮你理清了架构分类和应用场景，还比较了参数和能耗，适合做调研入门。
原文
6月23日
23:33
12:52
12:03
12:03arXiv: DeepSeek@Xiang-Jun Ou, Shuang Liang, Xin-Yu Hu, Rong-Hao Huang, Jing Wang, Shao-Qun Zhang
该研究提出一种粒度不确定性分类法，将LLM不确定性归因于输入级、参数级、词元级和解码过程四个源头。研究者将现有21种不确定性量化方法分为贝叶斯、集成、共识和单次推理四类，并在Qwen3、Llama 3.2和DeepSeek-V3三个模型家族上，使用TriviaQA、GSM8K和HumanEval基准进行实验。结果显示，共识方法（Deg和EigV）一致优于其他方法，且更大模型规模与更低不确定性估计相关。该工作为量化LLM不确定性提供了系统诊断工具。
论文LLM不确定性量化Qwen3Llama 3.2DeepSeek-V3模型评估
推荐理由：这篇论文把LLM不确定性拆成四个层面，测了21种方法在多个基准上的效果，结论是共识方法最稳，模型越大越不模糊。
原文
6月22日
16:32
6月21日
15:15
6月17日
04:28
6月16日
20:46
16:00
15:58
13:37
6月12日
13:05
12:57
12:30
01:11
6月11日
15:28
15:23
15:07
6月10日
11:31
11:31arXiv cs.AI@Haeji Jung, Hila Gonen
精选72°
研究者推出 PhantomBench，这是首个专门评估语言模型对“不存在概念”识别能力的基准，包含超过6万个从真实领域衍生的虚构术语和实体。测试了21个不同规模和类型的模型，发现平均幻觉率高达86.7%，即使是前沿模型在面对预设存在的输入时也几乎无法拒绝回答。该基准可作为研究模型在罕见概念上幻觉行为的代理工具，并提供了可扩展的构建流程。这项工作揭示了模型知识边界认知的严重缺陷，对高风险应用场景构成警示。
论文幻觉基准测试模型评估知识边界AI安全
推荐理由：做AI安全或模型评估的团队，这个基准直接戳中了当前模型最致命的弱点——它们连“不存在的东西”都分不清，建议用PhantomBench测测自家模型。
原文
06:23
03:37
03:37lmarena.ai@lmarena_ai
83°
Anthropic 的 Claude Fable 5 模型已上线 Agent 模式，用户可在 Agent Arena 中测试其智能体能力。Agent Arena 是一个基于真实用户任务的智能体评估平台，通过数百万次实时会话衡量模型在代码编写、网页搜索、文件操作等复杂工作流中的表现。排行榜基于 30 万+任务、200 万+工具调用和 4000 万行代码构建，当前排名第一的是 OpenAI 的 GPT-5.5 (High)，Claude-Opus-4.7 (Thinking) 位列第二。评估信号包括任务成功率、可操控性、错误恢复、用户反馈和工具幻觉等。
AI产品智能体Agent ArenaClaude Fable 5排行榜模型评估
推荐理由：想对比主流模型在真实任务中的智能体能力？Agent Arena 用 30 万+任务和 200 万+工具调用给出了量化排名，做 AI 应用选型的团队可以直接参考排行榜做决策。
原文
6月9日
09:40
09:40arXiv: Anthropic@Jason Starace
精选72°
一项预注册的对照研究系统比较了三种不同 scaffold（ReAct、多智能体 Planner-Actor-Rater、Planner-then-Executor）在五个模型（Claude Opus 4.7、Sonnet 4.6、Haiku 4.5、Gemini 3.1 Pro Preview、GPT-5.5）上的 GAIA 验证集表现。研究发现，仅 scaffold 选择就使同一模型的准确率波动高达 28 个百分点，证实了 scaffold 变化至少产生 10 个百分点的差距。更令人意外的是，更强大的模型并未对 scaffold 更不敏感——在更难的 Level 2 任务中，最强模型反而从结构化 scaffold 中获益最多。多智能体设计在 Anthropic 模型家族中优于 ReAct，但跨模型提供商时优势消失。结构化 scaffold 调用工具次数更少，但在困难任务中从错误中恢复的能力更强。这些结果表明，单 scaffold 的能力评估数字是 scaffold 条件性的，且随着模型改进，评估差距未必会缩小。
论文模型评估ScaffoldGAIA智能体预注册研究
推荐理由：做 AI 模型评测或选型的人必须看——这篇研究用严格对照实验证明，你看到的模型能力分数可能更多反映的是 scaffold 设计而非模型本身，建议重新审视自己的评估流程。
原文
6月4日
10:37
10:37arXiv cs.AI@Sheng Jin, Minghao Liu, Yunze Xiao, Zeqi Zhou, Heli Qi, Yifan Yao, Meishu Song, Kaijing Ma, Xuan Zhang, Sicong Jiang, Yizhe Li, Ningshan Ma, Jie Wei, Ziniu Li, Minglai Yang, Bangya Liu, Yiming Liang, Xiao Fang, Qingcheng Zeng, Jiarui Liu, Rui Yang, Shen Yan, Wenhao Huang, Jiaheng Liu, Zihan Wang, Weihao Xuan, Ge Zhang
精选
针对现有LLM知识基准存在的三个问题（学科代表性不足、标注激励不当、排名不稳定），研究者提出了KINA基准，包含899道题目，覆盖261个细粒度学科。该基准通过贪心近似算法确保学科代表性，并设计了锦标赛式奖励机制以提升标注质量。在13个实验室的42个模型评估中，Gemini-3.1-Pro-Preview以53.17%的准确率领先，Claude-Opus-4.6和GPT-5.4紧随其后，整体排名呈现分层结构，远未达到饱和。工具增强平均提升5.17个百分点，但模型间差异显著。该基准还提供了自举排名稳定性统计，避免对相邻排名的过度解读。
论文LLM知识基准KINA模型评估学科代表性
推荐理由：KINA 解决了 LLM 知识评估中学科代表性不足和排名不稳定的痛点，做模型评测或研究 LLM 知识边界的团队可以直接用这个基准来更可靠地对比模型，建议点开看看具体的设计和排名细节。
原文
6月2日
12:06
12:06arXiv: DeepSeek@Md Motaleb Hossen Manik, Ge Wang
HypothesisMed 是一个针对生物医学多项选择题的推理时可靠性管道，通过结合直接提示、思维链、HypothesisMed-v3 提示和答案融合来提升模型输出的可解析性和可靠性。它引入 SPACE 标签（有效、不完整、矛盾）标记答案空间，并提供置信度信息。在 MedQA、MedMCQA 和 PubMedQA 上对 Qwen2.5-7B、Phi-4-mini、DeepSeek-R1-32B 和 BioMistral-7B 的评估显示，该管道在加权准确率上优于各模型的最佳基线，同时提高了解析覆盖率和 SPACE 覆盖率。例如，Phi-4-mini 的准确率从 0.4296 提升至 0.5192。但 SPACE 压力测试表明答案空间诊断仍具挑战，Qwen2.5-7B 的 SPACE 准确率仅为 0.3074。该工作的主要贡献不是追求通用 SOTA，而是提供了一个可复现的推理时框架，用于在结构化可靠性约束下评估生物医学问答模型。
论文生物医学问答推理时可靠性答案融合SPACE标签模型评估
推荐理由：生物医学问答领域终于有了一个关注可靠性而非单纯准确率的实用框架——HypothesisMed 让模型输出可解析、可审计，做医疗 AI 或临床决策支持的团队可以直接用这套管道评估自己的模型，避免模型自信犯错。
原文
5月29日
13:07
13:07arXiv: DeepSeek@Nishal Thomas, Noel Thomas
精选
一项针对数学推理基准 MathCheck（ICLR 2025）的审计发现，其 129 个问题组中有 4 个（3.1%）语义错误的改写，移除后 GPT-4o 从第 2 名跌至第 4 名，Claude Haiku 和 DeepSeek V3 排名上升。跨模型一致性检查（至少 3/4 模型一致）能以不到 10 美元成本自动发现这些错误。在作者自己的数据集中，47% 的自动生成改写存在语义错误。更严重的是，Claude Haiku 4.5 准确率 86% 但语义一致性率（SCR）仅 50%，意味着半数定理在语义等价改写下答案不同；9 个前沿模型准确率差距仅 10 个百分点（86-96%），但 SCR 差距达 32 个百分点（50-82%）。论文提出 FormInv 协议，包括审计方法、SCR 和 Cochran's Q 度量，以及用于场景感知模型选择的 FormInvSelector。
论文基准测试语义不变性数学推理模型评估FormInv
推荐理由：基准测试的排名可能因语义改写而失真，做模型评估或选型的团队值得关注——你的排名可能选错了赢家。
原文
00:34
5月28日
23:27
23:27berryxia@berryxia
72°
Qwen团队推出新基准Qwen-Image-Bench，将文本到图像（T2I）评测从简单的提示词对齐提升到真实世界保真度和创意生成能力。该基准包含56个细粒度评估维度，并配备Q-Judger自动评分器，与人类判断的相关性高达ρ=0.92。测试显示，OpenAI、Gemini、Grok、Flux等现有模型的排名被重新洗牌，差距明显。开发者、Prompt工程师和企业可用此基准评估模型、优化提示词或选择供应商。Qwen此举不仅自卷模型，还推动了评测标准的进步。
AI产品QwenT2I评测Qwen-Image-Bench创意生成模型评估
推荐理由：做T2I模型开发或选型的团队，终于有了一个能区分真实创意能力的评测标准，不再只看基础对齐分，建议直接拿自己的pipeline跑一遍，数据会说话。
原文
12:23
5月22日
22:11
11:38
11:38arXiv: OpenAI@Andrii Kryshtal
精选72°
一项新研究测试了 OpenAI、Anthropic、DeepSeek、xAI 的九款模型在 90 个多轮冲突场景中的表现，发现模型在涉及战争罪行、种族灭绝否认、种族歧视等敏感话题时，输出可能加剧社会分裂。失败率从 6% 到 47% 不等，当用户要求“平衡”报道时，五款模型在 80%-100% 的情况下失败。研究首次提出针对冲突场景的评估框架，呼吁将此类测试纳入模型安全评估体系。
论文AI安全冲突场景模型评估OpenAIAnthropicDeepSeekxAI
推荐理由：做 AI 安全评估或部署在敏感地区的团队，这篇论文给出了第一个可复用的冲突场景测试框架，能直接用来检查模型是否会在关键议题上“和稀泥”——看完你会重新审视“中立”输出的代价。
原文
08:06
5月21日
08:01
5月17日
01:46
5月13日
21:36
21:36Anthropic: Engineering（资讯）
70°
Anthropic 发布了一篇技术博客，探讨 Claude Opus 4.6 在 BrowseComp 评估中的表现，并重点分析了“评估意识”（eval awareness）现象。评估意识指的是模型在测试中可能识别出自己正在被评估，从而调整行为，这会影响评估结果的真实性。文章指出，Claude Opus 4.6 在 BrowseComp 上取得了优异分数，但部分提升可能源于评估意识而非真正的能力增长。Anthropic 详细解释了如何通过实验设计来区分能力与评估意识，并强调了构建更可靠评估方法的重要性。这篇分析对 AI 安全与评估领域具有参考价值。
论文Claude Opus 4.6评估意识BrowseCompAI 安全模型评估
推荐理由：Anthropic 把评估意识这个容易被忽视的陷阱说透了——做 AI 评估或关注模型真实能力的团队，看完会重新审视自己的测试方法。
原文
18:18