#评估指标

共 16 条 · 7 天 0 条 · 30 天 3 条

LLM 2 AI Agent 1 AutoEval 1 BART 1 Clay 1 Code Arena 1 DeepMind 1 Double Ratchet 1

信息流里打上「评估指标」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月22日

产品 Agent 与开发者精选23:30

Clay评估代理质量吞吐量和成本

Clay推出三维度代理评估体系，帮你平衡质量和成本，LangSmith提供具体测量方法。

#Clay #LangSmith #代理 #评估指标

官方账号LangChain@LangChainAI原文

9月14日

论文 Agent 与开发者精选09:57

提出新数学手写识别评估指标PA-CDM

学术研究者可以试试这个新指标，它比传统方法更准确，能帮你更精准地评估模型在数学手写识别上的表现。

#handwritten mathematical expression recognition #数学手写识别 #评估指标

arXiv cs.LG@Shiliang Luo原文

9月11日

模型中美对照01:52

Code Arena 发布 AutoEval 评估指标

Code Arena 推出了 AutoEval 评估指标，能更客观地衡量代码生成模型的性能，比之前的指标更准确。

#Code Arena #AutoEval #代码生成 #评估指标

lmarena.ai@lmarena_ai原文

9月9日

论文 Agent 与开发者精选73°11:15

SQLMorph：文本转SQL评估新框架

SQLMorph提供文本转SQL系统评估新方法，通过查询变异和细粒度指标，帮助开发者更准确评估系统性能并发现潜在问题。

#SQLMorph #Text-to-SQL #JQE #TQA

arXiv cs.AI@Mohammadhossein Malekpour 等 4 人原文

8月5日

论文12:08

条件扩散模型用于合成病理图像生成的评估研究

这篇论文用病理数据预训练模型改进了FID/IS指标，发现比ImageNet特征更贴合下游分割任务，搞病理AI的值得看。

#扩散模型 #病理图像 #FID #Inception Score

arXiv cs.LG@Seyed Kahaki 等 4 人原文

7月28日

论文10:33

关于PDE发现的事后评估：科学进步的多面挑战

这是PDE发现评估的第一篇系统综述，适合ML和物理科学交叉领域的研究者。它帮你理清预测精度与物理一致性之间的权衡，避免用单一指标误导结论。

#PDE发现 #评估指标 #物理信息机器学习 #科学发现

arXiv cs.LG@Baptiste Mathevon 等 4 人原文

7月23日

技巧 Agent 与开发者官方一手精选06:00

EdgeBench 基准测试教程：分析 AI Agent 任务与评估指标

想看 AI Agent 怎么测？EdgeBench 教程一步步教你下载数据、跑排行榜、分析 scaling law，连代码都给了，直接跟就行。

#EdgeBench #AI Agent #基准测试 #评估指标

官方一手marktechpost@Sana Hassan原文

7月15日

论文09:20

谁给评分者评分？面向自提升LLM智能体共进化评估指标与技能

这篇论文解决了自进化AI的一个核心漏洞：没有可靠指标怎么办。他们让指标和技能一起进化，在多个基准上验证了有效性，还能防作弊。值得研究Agent自改进的人读一读。

#LLM #智能体 #评估指标 #共进化

arXiv cs.AI@Xing Zhang 等 7 人原文

论文74°01:11

DeepMind 论文揭示模型路由评估陷阱

DeepMind 这篇论文告诉你，别被路由器的漂亮数字骗了——模型都答一样或乱分配，路由就是摆设。

#DeepMind #模型路由 #LLM #行为分化

elvis@omarsar0原文

7月14日

论文09:42

抽象性度量评估文本摘要：精炼公式与实证验证

论文提出了三个新指标，能清楚区分提取式和抽象式摘要，还能帮你发现幻觉问题，比ROUGE更深入。

#BART #Pegasus #XSUM #文本摘要

arXiv cs.AI@Praveenkumar Katwe 等 3 人原文

7月8日

技巧 Agent 与开发者02:57

Fireworks AI联合创始人详解AI应用评估标准

Fireworks AI的Benny Chen教你怎么判断AI应用好不好，不是只看指标，还要看定性信号。

#Fireworks AI #Stack Overflow #AI评估 #评估指标

Fireworks AI@FireworksAI_HQ原文

6月11日

论文10:07

信息增益衡量多轮对话语义进展：无需LLM评判的新指标

做对话系统评估的团队终于有了一个可复现、低成本的替代方案——无需调用大模型就能衡量对话的语义进展，建议做客服或问答系统的开发者试试这个指标。

#多轮对话 #语义进展 #信息增益 #评估指标

arXiv cs.LG@Paul He 等 3 人原文

6月2日

论文11:10

多视角目标关联中的指标错配：排名 vs 分配

这篇论文点破了多视角目标关联领域的一个常见误区——用排名指标评估分配任务可能得出虚假结论。做多摄像头感知或目标关联的开发者，看完会重新审视自己的模型评估方式，建议点开了解如何用Sinkhorn归一化做压力测试。

#多视角目标关联 #评估指标 #Sinkhorn归一化 #计算机视觉

arXiv cs.AI@Matvei Shelukhan 等 4 人原文

5月29日

论文多源确认精选13:58

PlanAhead：计划表示方式如何影响LLM网页智能体表现

做LLM智能体开发的团队终于有了计划表示的系统性对比——选对计划形式能直接提升任务成功率，建议做Web Agent的开发者点开看看具体指标差异。

#LLM智能体 #规划表示 #WebArena #多模态模型

事件专题

arXiv: OpenAI@Alejandra Zambrano 等 5 人11 个信源在谈原文

5月15日

论文精选10:07

LLM越狱攻击的随机性问题：CAS-eval与CAS-gen框架

做LLM安全评估的团队会发现现有ASR指标不可靠——论文用数据证明80%的ASR在连续测试中可能只剩50%，CAS-eval和CAS-gen直接解决了这个评估和生成的不一致问题，做红队测试的建议点开。

#LLM安全 #越狱攻击 #评估指标 #随机性

arXiv: Anthropic@Jean-Philippe Monteuuis 等 3 人原文

5月12日

行业21:55

Goodhart's Law警示：AI评估需谨慎

对AI从业者的重要提醒：评估指标需与真实目标一致，否则可能误导模型优化方向。

#AI安全 #评估指标 #Goodhart's Law #模型优化

Shashikant Kore@kshashi原文