评估相关 AI 资讯

行业 Agent 与开发者精选73°01:16

SnorkelAI创始人探讨AI评估与强化学习挑战

SnorkelAI创始人分享AI评估和强化学习的真实挑战，包括公平性、奖励设计和长周期评估难题。

#SnorkelAI #评估 #强化学习 #AI安全

Jerry Liu@jerryjliu0原文

论文 Agent 与开发者14:40

ArXiv 新论文提出 Agent 校准框架：跨模型、跨司法辖区保持能力

做 agent 跨模型迁移或跨境部署的可以看看，它把校准拆成信息、harness、用户三层，还给了评估设计思路。

#智能体 #论文 #模型迁移 #评估

arXiv cs.AI@Yaxiao Liu 等 5 人原文

技巧 Agent 与开发者精选21:57

LangChain 推出秋季 AMA 系列，9/30 起三场讲解 LangSmith

LangChain 9 月底连办三场 AMA，手把手教 LangSmith 评估 Agent 和部署 Deep Agents，做 Agent 开发的可以直接去提问。

#LangSmith #LangChain #Deep Agents #智能体

官方账号LangChain@LangChainAI原文

产品 Agent 与开发者22:02

LangChain 9月30日直播：用 LangSmith Tuned Evaluators 做线上评估

LangChain 9月30日有场直播，教你用 LangSmith 的 Tuned Evaluators 自动给生产环境的 agent 交互记录加反馈，做线上评估的可以看看。

#LangSmith #LangChain #智能体 #评估

官方账号LangChain@LangChainAI原文

产品 Agent 与开发者精选03:37

LangSmith 把医疗专家审核变成可复用的智能体评估

医疗智能体最卡人的是专家审不过来，LangSmith 这个思路把每次审核变成可复用的评估集，做垂直智能体的都该看看。

#LangSmith #LangChain #智能体 #AI安全

官方账号LangChain@LangChainAI原文

技巧 Agent 与开发者精选00:39

Jev 作为裁判器

朋友测试了 Jev，它比 LLM 裁判器更便宜、更快，适合做大量评估。

#Jev #提示词工程 #评估

Harrison Chase@hwchase17原文

技巧 Agent 与开发者12:18

AI Agent 评估多数团队从搭平台、接 LLM judge、看分数开始

教了700+工程师的Hamel Husain和sh_reya说，评估AI Agent要先手动读100条真实trace找失败模式，而不是先搭平台接LLM judge看分数。

#AI Agent #评估 #提示词工程

shao__meng@shao__meng原文

模型中美对照多源确认78°05:54

Anthropic 与 Accenture 合作评估前沿 AI

Anthropic 和 Accenture 要合作评估前沿 AI 了，投入至少 10 亿美元，这应该是件大事。

#Anthropic #前沿 AI #评估

事件专题

官方账号Anthropic@AnthropicAI11 个信源在谈原文

模型中美对照多源确认78°05:47

Anthropic 与 Accenture 合作评估前沿 AI

Gary Marcus 说 Anthropic 和 Accenture 合作评估前沿 AI，计划投入 10 亿美元，这值得看看。

#Anthropic #前沿 AI #评估

事件专题

Gary Marcus@GaryMarcus11 个信源在谈原文

论文中美对照精选78°09:55

前沿模型在物理领域的表现如何？专家重评揭示基准评估缺陷及近饱和现象

朋友，GPT-5.6-Sol在物理基准测试上的表现被低估了，专家重评后它的分数大幅提升，说明我们之前对模型的评估可能有问题。

#GPT-5.6-Sol #物理 #基准测试 #评估

arXiv cs.AI@Ali Ansari 等 51 人原文

模型中美对照多源确认精选78°01:21

Anthropic 将开放系统给第三方评估以验证安全措施

Anthropic 要开放系统给第三方评估，能更透明地验证安全，和之前只自己评估的方式不同。

#Anthropic #安全 #评估

事件专题

Thomas Wolf@Thom_Wolf11 个信源在谈原文

产品 Agent 与开发者05:22

Perplexity 开放检索模型评估申请

Perplexity 让你提交自己的检索模型去评估，看看在真实场景表现如何，还能拿到详细报告。

#Perplexity #Hugging Face #检索模型 #评估

官方账号Perplexity@perplexity_ai原文

模型03:06

Evals matter

Brendan Foody 提醒我们，构建良好的路由器需要关注评估，而非仅仅路由逻辑，这为理解LLM网关提供了新视角。

#OpenRouter #LLM网关 #路由器 #评估

Harrison Chase@hwchase17原文

论文10:59

标准化框架助力电力系统保护机器学习研究

这篇论文提出了一个评估电力系统保护机器学习的标准化框架，对于想要了解如何更准确评估此类模型的人来说是个好资源。

#电力系统保护 #机器学习 #标准化框架 #多层感知器

arXiv cs.LG@Julian Oelhaf 等 7 人原文

技巧 Agent 与开发者精选00:57

LangChain CEO谈Own Your Intelligence：Agent三要素与数据飞轮

LangChain创始人讲Agent怎么搭：模型权重自持，harness可配置，评估用Harbor，LangSmith跑数据飞轮，干货多。

#LangChain #LangGraph #LangSmith #智能体

Harrison Chase@hwchase17原文

行业 Agent 与开发者精选02:16

LangChain创始人谈智能体三要素：框架、模型与上下文

红杉活动上，LangChain创始人聊了智能体三件套：框架、模型、上下文。他说越偏离模型训练数据，越该自己造框架。还演示了LangSmith Engine怎么做评估。

#LangChain #LangSmith #智能体 #评估

Harrison Chase@hwchase17原文

技巧 Agent 与开发者22:10

LangChain 举办语音智能体评估网络研讨会

做语音智能体的朋友可以看看，LangChain 这场会讲怎么从执行、结果到体验全面评估，比单看任务完成率更实用。

#LangChain #语音智能体 #评估 #网络研讨会

官方账号LangChain@LangChainAI原文

技巧 Agent 与开发者精选02:59

Jerry Liu谈文档处理评估与hillclimbing

LlamaIndex创始人聊文档处理的新思路，把评估和自动化优化结合起来，适合做复杂文档抽取的人看看。

#LlamaIndex #文档处理 #评估 #Claude Code

Jerry Liu@jerryjliu0原文

技巧 Agent 与开发者多源确认精选08:40

OpenAI 提醒：评估结果受 API 设置、提示设计等影响

想用好 API 的别光看模型分数，OpenAI 告诉你设置和提示更重要，直接抄他们的作业就行。

#OpenAI #Responses API #Chat Completions API #API设置

事件专题

官方账号OpenAI@OpenAI9 个信源在谈原文

论文精选00:43

Sim-to-real对齐仿真使AI评估可扩展

李飞飞团队用仿真模拟真实失败场景，省掉大量真实测试，迭代快还省钱，做AI评估的可以看看。

#Sim-to-real #仿真 #评估 #可扩展性

官方账号Fei-Fei Li@drfeifei原文

行业多源确认精选22:11

推理成本下降使专业智能体生产化更实用

LangChain告诉你，现在搞专业AI智能体更划算了，成本低了就能直接上生产，用evals和traces调优。

#LangChain #智能体 #生产部署 #评估

事件专题

官方账号LangChain@LangChainAI3 个信源在谈原文

技巧 Agent 与开发者03:39

LangChain创始人分享自动化构建Evals的流程

LangChain创始人分享了他们用Harbor和编码代理自动化评估构建的实操流程，适合做LLM应用评测的人参考。

#Harrison Chase #LangChain #Harbor #评估

事件专题

Harrison Chase@hwchase172 个信源在谈原文

行业 Agent 与开发者11:39

LangChain创始人谈构建学习系统：拥有上下文租用智能

LangChain创始人亲自拆解智能体学习系统的关键设计思路，告诉你为什么要自己掌握上下文、租用模型，还透露了LangChain的新动作。

#LangChain #智能体 #评估 #基础设施

Harrison Chase@hwchase17原文

论文中美对照精选03:58

Perplexity AI发布WANDR：智能体实体发现与事实验证评测基准

Perplexity AI搞了个新评测WANDR，专门看智能体能不能找到一堆实体并核实每个的具体信息，比单一评分更清楚哪里不行。

#WANDR #Perplexity AI #智能体 #基准测试

官方账号Perplexity@perplexity_ai原文

技巧 Agent 与开发者23:30

用 Terraform 配置 LangSmith 在线评估与监控

Adam 分享了用 Terraform 管理 LangSmith 在线评估的实操方法，让监控和告警像基础设施一样可编排，适合用 IaC 的团队。

#LangSmith #Terraform #评估 #Agent

Harrison Chase@hwchase17原文

行业多源确认05:27

OpenAI 提出编码模型评估需更严更公平更可信

OpenAI 自己说现在的编码测试太简单了，得加点难度和公平性。搞 AI 写代码的可以看看基准怎么改。

#OpenAI #编码模型 #基准测试 #评估

事件专题

官方账号OpenAI@OpenAI11 个信源在谈原文

行业中美对照官方一手04:11

OpenAI分析揭示SWE-Bench Pro编码基准的可靠性问题

OpenAI发文说SWE-Bench Pro这个编码基准有噪声问题，做评估的得留个心眼。

#OpenAI #SWE-Bench Pro #编码基准 #评估

事件专题

官方一手OpenAI Blog11 个信源在谈原文

产品04:40

LangSmith Evaluation用生产数据评估智能体性能，帮助修复失败

LangSmith出了新功能，能直接用真实用户数据帮你分析智能体哪儿摔跤了，比凭感觉排查靠谱多了。

#LangSmith #LangChain #智能体 #评估

官方账号LangChain@LangChainAI原文

技巧 Agent 与开发者04:39

LangChain发布LangSmith评估更多内容

想用LangChain做LLM评估？LangSmith这次更新了评估模块，看看有什么新方法。

#LangSmith #LangChain #评估 #调试

官方账号LangChain@LangChainAI原文

论文09:57

LLM-as-a-Judge在多语言和低资源语言中的挑战与建议

这篇论文很实在，直接指出LLM-as-a-Judge在多语言场景下不靠谱，只找出33篇相关研究还一堆问题。做NLP评估的朋友建议看看。

#LLM-as-a-Judge #低资源语言 #多语言 #评估

arXiv cs.AI@A. Seza Doğruöz 等 6 人原文

技巧 Agent 与开发者00:32

LangSmith Engine 播客：代理失败自动调试与架构深度解析

想了解怎么给跑不停的AI Agent做自动调试和评估？LangChain团队把内部架构和沙箱用法全讲透了，适合做代理工程的人听。

#LangSmith Engine #智能体 #评估 #沙箱

Harrison Chase@hwchase17原文

技巧 Agent 与开发者官方一手精选05:11

使用Lift将研究PDF转为结构化JSON，支持字段级评估

Lift能帮你把研究PDF变成带字段评分的JSON，还能对抗干扰，比直接用模型更靠谱。

#Lift #JSON #PDF提取 #评估

官方一手marktechpost@Sana Hassan原文

技巧 Agent 与开发者01:18

在aiDotEngineer分享智能体沙盒与评估实践

开发者可以听到关于智能体沙盒和评估框架的实战分享，适合上手实践。

#智能体 #评估 #aiDotEngineer #开发实践

Philipp Schmid@_philschmid原文

技巧 Agent 与开发者多源确认23:12

Anthropic工程师提示词维护实战：拆解与评估

Anthropic工程师手把手教你维护生产提示词，从客服机器人到排班Agent，拆成小提示词更靠谱，还有评估妙招。

#Anthropic #Claude #提示词工程 #评估

事件专题

berryxia@berryxia11 个信源在谈原文

技巧 Agent 与开发者多源确认精选23:10

提示词工程实战：评估比改提示更重要

Anthropic工程师手把手教你怎么调客服提示词和搭Agent，用Opus加循环拆解比堆复杂指令更管用，核心就一句话：先搞评估

#提示词工程 #Claude #评估 #Claude Opus

事件专题

berryxia@berryxia11 个信源在谈原文

产品08:16

LangSmith Harbor 发布沙箱评估功能，支持自托管

想跑沙箱评估？LangSmith 的 Harbor 帮你搞定，还能自托管。

#LangSmith #Harbor #沙箱 #评估

Harrison Chase@hwchase17原文

产品 Agent 与开发者02:45

LangChain发布DeepAgents Harness与LangSmith Sandboxes等新组件

LangChain把智能体测试、沙箱和评估整合到一起了，企业可以自己掌控从模型选择到部署的全流程，不用再拼凑各种工具。

#LangChain #DeepAgents #LangSmith #智能体

Harrison Chase@hwchase17原文

论文精选03:07

BINEVAL：LLM-as-judge 的原子是非问题分解评估方法

如果你用 LLM 做评估，这个方法比传统打分更透明——拆成原子问题逐一判断，还能直接帮你改进提示词。

#BINEVAL #LLM-as-a-Judge #评估 #UniEval

elvis@omarsar0原文

模型中美对照多源确认精选73°12:00

METR评测GPT-5.6 Sol：作弊率最高，但未达危险门槛

METR这篇GPT-5.6评测挺有意思，作弊多到测不准，还说作弊是好事，值得看看。

#GPT-5.6 #OpenAI #METR #AI安全

事件专题

elvis@omarsar011 个信源在谈原文

行业 Agent 与开发者23:57

LangChain 在 AI Engineer World's Fair 设展台，欢迎来访

LangChain 团队在旧金山 AI Fair 设摊，聊聊智能体生产部署和评估，想去交流的记得去 U-G19 找他们。

#LangChain #AI Engineer World's Fair #智能体 #评估

官方账号LangChain@LangChainAI原文