PapersSelected

Langfuse 工程师 Annabell Schäfer 谈主动式 Agent 的评测方法

Why we picked it

主动式 Agent 最难评的不是答得对不对,而是该不该出手。这篇 Langfuse 工程师的文章给了具体做法:把沉默也记下来,用精确率和召回率分开量。做 Agent 评测和运维的工程师直接照着搭就行。

Langfuse 工程师 Annabell Schäfer 在官方博客发布《Evaluating proactive agents》,讨论主动式 Agent 最容易被忽略的评测环节:这类系统会自行判断是否行动、何时行动、介入多深,而"该做却没做"的情况往往不会留下失败记录。

Body

文章指出,定时执行同一任务只算自动化,真正的主动性体现在行动前的判断,例如航班延误两小时时,Agent 需依据旅客记忆判断是提醒、请求批准还是直接改签。作者建议记录每次触发、参考信息、选择及理由,包括"保持沉默"的决策,若系统分轻量过滤和模型深入判断两层,两层都要留痕。

评测上应把样本从"问题与标准答案"扩展为"情境与应有判断"(含触发事件和记忆快照),并用精确率衡量行动是否值得、召回率衡量遗漏多少,同时按动作风险设置不同门槛——轻提醒和花钱下单不能共用一道标准。作者还以自己助手对已取包裹连续提醒五次为例,说明需要分开检查"太频繁""太保守""介入过深"三类错误。

Original · shao__meng

Langfuse 工程师 @annabellschfr 谈主动式 Agent 评测:该不该行动、何时行动、做到哪一步 主动式 Agent 会自己发现任务,也会自己决定保持沉默。问题是:该做却没做的事,往往不会留下明显的失败记录。Langfuse 团队 Annabell Schäfer 在「Evaluating proactive agents」中,讨论了这类系统最容易被忽略的评测环节。 @langfuse 官方博客 langfuse.com/blog/2026-11-1… # 主动性体现在行动前的判断 主动式 Agent 带着长期目标观察环境,自行决定是否行动、何时行动,以及介入多深。每天定时执行同一项任务,只能说明实现了自动化,还不一定具有这种判断能力。 原文用 worth_acting_on() 表示这一步。例如,航班延误两小时,Agent 需要判断:会不会影响后续行程?现在提醒,还是稍后再检查?只提供建议、请求批准,还是直接改签? 这些选择都依赖记忆。同一条延误消息,对不同旅客可能意味着完全不同的处理方式。选择“等待”,还意味着安排下一次检查。 # 沉默也要记录,才能发现遗漏 聊天助手的回答通常有人阅读,主动式 Agent 的大量运行却可能停在后台,最终什么都不做。没有判断记录,就很难发现它错过了多少重要事件。 建议记录每次触发、参考信息、选择、行动程度及理由。若系统先做轻量过滤,再交给模型深入判断,两层都应留下记录。“保持沉默”可以是正确结果,但必须能够事后检查。 评测时,需要分开看三类错误:行动太频繁,造成打扰;过于保守,漏掉应处理的事;介入过深,本该先问却直接执行。作者自己的助手就曾对已经取走的包裹连续提醒五次。 # 用情境评测,按风险设置门槛 评测样本应从“问题与标准答案”,扩展成“情境与应有判断”,包含触发事件和当时的记忆快照。 精确率看采取的行动中,有多少确实值得做;召回率看所有该做的事情中,抓住了多少。除此之外,还要检查动作是否越界。轻提醒和花钱下单的代价不同,不能共用一道行动门槛。 修改提示、模型、记忆或判断门槛后,都应重新评测,并区分问题出在判断,还是出在记忆缺失、过期。 Annabell @annabellschfr x.com/i/article/2123… 🔗 View Quoted Tweet📊 5 ⚡

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Papers" desk, focusing on Europe's AI governance and technology ecosystem. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include Langfuse, agents.

Source attribution: curated from shao__meng (@shao__meng).