精选理由
这项研究戳破了AI基准测试的盲区——如果你在评估智能体工具或做AI产品，会发现现有测试可能误导了你的判断，建议点开看看如何修正评估标准。
卡内基梅隆大学和斯坦福大学的研究人员发现，当前AI智能体基准测试主要聚焦于软件开发任务，而美国劳动力市场的工作种类更为多样。研究将智能体测试中的任务映射到美国劳工统计局的职业数据，结果显示测试内容与大多数人的实际工作存在显著不匹配。这意味着现有基准可能高估了AI在某些领域的表现，同时低估了其在其他经济价值任务中的潜力。该研究呼吁开发更全面的评估方法，以真实反映AI智能体的经济影响。
AI 翻译 · 中文
卡内基梅隆大学和斯坦福大学的研究人员发现，当前AI智能体基准测试主要聚焦于软件开发任务，而美国劳动力市场的工作种类更为多样。研究将智能体测试中的任务映射到美国劳工统计局的职业数据，结果显示测试内容与大多数人的实际工作存在显著不匹配。这意味着现有基准可能高估了AI在某些领域的表现，同时低估了其在其他经济价值任务中的潜力。该研究呼吁开发更全面的评估方法，以真实反映AI智能体的经济影响。
AI agents seem to be increasingly capable of performing economically valuable tasks, but current benchmarks measure this capability only narrowly. Zora Z. Wang and colleagues at Carnegie Mellon University and Stanford Un…