精选理由
想看看你用的LLM在多工具长流程场景下到底多靠谱？PlanBench-XL用上千个工具设计了真实任务链，测出来主流模型成功率不到40%，值得一测。
PlanBench-XL是一个新基准，专门评估LLM工具使用智能体在包含数千个工具的大型生态系统中的长程规划能力。该基准通过构建复杂任务链，要求智能体在工具选择、参数传递和结果融合中做出多步决策。初步测试中，GPT-4和Claude 3.5等主流模型在PlanBench-XL上的平均成功率低于40%，暴露了当前模型在规划深度和工具协调上的局限。
AI 翻译 · 中文
PlanBench-XL是一个新基准，专门评估LLM工具使用智能体在包含数千个工具的大型生态系统中的长程规划能力。该基准通过构建复杂任务链，要求智能体在工具选择、参数传递和结果融合中做出多步决策。初步测试中，GPT-4和Claude 3.5等主流模型在PlanBench-XL上的平均成功率低于40%，暴露了当前模型在规划深度和工具协调上的局限。
PlanBench-XL Evaluating Long-Horizon Planning of LLM Tool-Use Agents in Large-Scale Tool Ecosystems 💬 2 🔄 1 ❤️ 9 👀 4144 📊 3 ⚡ Powered by xgo.ing