7月30日
11:17
11:17官方账号arXiv cs.AI@Jingbo Zhou, Yusai Zhao, Qi Bao, Jingjia Cao, Zhenghai Chen, Chang Gao, Kaiqi Guo, Muxin Guo, Mingxuan Li, Xinjiang Lu, Yanru Ma, Yixiong Xiao, Zenghui Zhang, Le Zhang, Hua Wu
新基准 OmegaUse-OfficeVal 包含 100 个办公套件任务,平均需 2.32 小时人工完成。每个任务提供人工时间与任务价格代理两个经济信号,用于对比人类成本与 LLM 推理成本。评估了 GPT-4、Claude 3.5 等前沿 LLM,结果显示它们虽更便宜更快,但交付质量尚未达到人类水平。该基准代码与数据集已开源。
推荐理由:想做办公自动化?这个新基准用真实成本告诉你:现在LLM虽便宜但还没人类靠谱,值得看看差距在哪。