Event ·Single source

Langfuse 工程师 Annabell Schäfer 谈主动式 Agent 的评测方法

Langfuse 工程师 Annabell Schäfer 在官方博客发布《Evaluating proactive agents》,讨论主动式 Agent 最容易被忽略的评测环节:这类系统会自行判断是否行动、何时行动、介入多深,而"该做却没做"的情况往往不会留下失败记录。文章指出,定时执行同一任务只算自动化,真正的主动性体现在行动前的判断,例如航班延误两小时时,Agent 需依据旅客记忆判断是提醒、请求批准还是直接改签。作者建议记录每次触发、参考信息、选择及理由,包括"保持沉默"的决策,若系统分轻量过滤和模型深入判断两层,两层都要留痕。评测上应把样本从"问题与标准答案"扩展为"情境与应有判断"(含触发事件和记忆快照),并用精确率衡量行动是否值得、召回率衡量遗漏多少,同时按动作风险设置不同门槛——轻提醒和花钱下单不能共用一道标准。作者还以自己助手对已取包裹连续提醒五次为例,说明需要分开检查"太频繁""太保守""介入过深"三类错误。

Current read

主动式 Agent 最难评的不是答得对不对,而是该不该出手。这篇 Langfuse 工程师的文章给了具体做法:把沉默也记下来,用精确率和召回率分开量。做 Agent 评测和运维的工程师直接照着搭就行。

2 sources42° AI heatLast updated 2026/11/21 07:33:47

Evidence

2 sources
Related source 1Harrison Chase
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.