Primary sourceDAIR.AI
View sourceEvent ·Single source
OpenAI 发布 LifeVal 基准:169 个日常任务测评智能体
OpenAI 调研了 3,837 名美国消费者,从 148 项生活任务中筛出人们愿意付费的类别,这些任务年价值超 1.7 万亿美元。LifeVal 将其中最有价值的部分转化为 169 个智能体任务,涵盖理财、搬家、找工作、找托儿等场景,每个任务都配有评分标准、工作环境和离线网页副本,并经过三轮人工审核。成绩从 GPT-5.2 到 GPT-6 Astra 逐步上升,最常见的失败是给出了错误答案或建议,原因往往是漏掉了用户几周前聊天中提到的事实。仅在依赖过往对话的评分项上,模型胜率为 33%,而依赖已保存记忆的项目为 48%。
Current read
OpenAI 拿 169 个真实生活任务测各家模型,发现模型老忘掉你几周前说过的话,做记忆助手的建议跑一下这个基准。
1 source68° AI heatLast updated 2026/11/5 13:41:04
Evidence
1 sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.