#LLM-as-a-Judge

共 13 条 · 7 天 1 条 · 30 天 3 条

多智能体 2 Agentic Harnesses 1 Agent评估 1 AI安全 1 Conformal Prediction 1 GPT-6 1 Interrupt NYC 1 JEV 1

信息流里打上「LLM-as-a-Judge」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月6日

技巧 Agent 与开发者22:15

用 Jev-as-a-Judge 提升 agent 评估的可靠性

做 agent 评估的朋友看看这个 Jev-as-a-Judge 方法，专治评判不稳定的问题。

#Agent评估 #LLM-as-a-Judge #提示词工程

DAIR.AI@dair_ai原文

9月29日

论文 Agent 与开发者17:47

多轮商业代理的LLM评估系统设计

论文教你如何构建可靠的多轮代理评估系统，包含具体方法和生产验证结果。

#LLM-as-a-Judge #多轮代理 #评估系统 #商业智能体

arXiv cs.AI@Kaiwen Luo, Ming Gao原文

9月25日

论文 Agent 与开发者多源确认73°00:45

JEV 论文：廉价评审级联可省约 43% 评测成本

一篇讲怎么省评测钱的论文：便宜的 JEV 先判断，拿不准的才丢给 GPT-6，成本砍掉四成多，准确率几乎不掉。

#JEV #GPT-6 #LLM-as-a-Judge #RewardBench

事件专题

DAIR.AI@dair_ai11 个信源在谈原文

9月9日

论文 Agent 与开发者10:00

多智能体LLM评估的稳健共识方法

这篇论文解决了LLM评估中的不确定性问题，通过多智能体共识方法让评估结果更可靠。

#LLM-as-a-Judge #Conformal Prediction #多智能体 #不确定性量化

arXiv cs.AI@Lihui Liu原文

9月2日

论文09:37

WorldBench：多语言智能体文化基准测试

研究人员发布WorldBench基准，测试多语言智能体在真实场景中的表现，发现当前模型在长周期任务中表现脆弱。

#WorldBench #多语言智能体 #基准测试 #LLM-as-a-Judge

arXiv cs.AI@Leonardo Ranaldi 等 4 人原文

8月28日

论文精选73°17:53

TransMeme多智能体框架实现跨文化模因再创作

TransMeme框架解决了跨文化模因再创作的三大挑战，在中文-英文双向转换任务中表现优异。

#TransMeme #多智能体 #模因 #跨文化

arXiv cs.AI@Jingyi Zheng 等 7 人原文

8月12日

技巧 Agent 与开发者精选22:39

LinkedIn将分享Hiring Assistant智能体评估实战

做智能体评估的可以看看，LinkedIn分享怎么把追踪数据变成黄金数据集，还教你怎么训LLM当裁判。

#LinkedIn #LangChain #智能体 #LLM-as-a-Judge

官方账号LangChain@LangChainAI原文

8月11日

论文11:42

Agentic Harnesses：为机器人自主性引入LLM驱动的验证层

这篇论文给机器人规划加了个AI裁判，能拦下不安全或不合规的动作，对抗攻击遏制率97%，做机器人安全的值得看看。

#Agentic Harnesses #LLM-as-a-Judge #机器人自主性 #MCP/工具

arXiv cs.AI@Rohan Bhagra 等 3 人原文

7月3日

论文09:57

LLM-as-a-Judge在多语言和低资源语言中的挑战与建议

这篇论文很实在，直接指出LLM-as-a-Judge在多语言场景下不靠谱，只找出33篇相关研究还一堆问题。做NLP评估的朋友建议看看。

#LLM-as-a-Judge #低资源语言 #多语言 #评估

arXiv cs.AI@A. Seza Doğruöz 等 6 人原文

6月28日

论文精选03:07

BINEVAL：LLM-as-judge 的原子是非问题分解评估方法

如果你用 LLM 做评估，这个方法比传统打分更透明——拆成原子问题逐一判断，还能直接帮你改进提示词。

#BINEVAL #LLM-as-a-Judge #评估 #UniEval

elvis@omarsar0原文

6月18日

论文10:02

基于正-无标记学习的LLM评估量化与审计

想治治AI裁判的偏袒病？这论文用数学几何直接纠偏，不用重训模型，比调prompt靠谱多了。

#LLM #LLM-as-a-Judge #正-无标记学习 #Partial Optimal Transport

arXiv cs.LG@Zilong Zhang 等 4 人原文

6月16日

技巧 Agent 与开发者13:37

探索验证器：替代资源密集的模型微调方案

觉得微调太烧钱？试试验证器吧，还能顺带评估LLM-as-a-Judge的效果。

#微调 #验证器 #LLM-as-a-Judge #模型评估

elvis@omarsar0原文

5月26日

论文精选12:12

LLM-as-a-Judge 在医疗领域的应用与人类对齐性分析

医疗 AI 评估一直缺乏规模化手段，这篇综述系统梳理了 LLM-as-a-Judge 在临床场景的落地情况，做医疗 AI 开发或评估的团队可以快速了解当前方法的有效性和局限。

#LLM-as-a-Judge #医疗AI #评估框架 #临床决策支持

事件专题

arXiv: OpenAI@Lingyao Li 等 12 人2 个信源在谈原文