AI模型精选73°

NVIDIA 发布首个智能体 AI 基准测试 AgentPerf,GB300 NVL72 每兆瓦运行 61.4K 编码智能体

NVIDIA just posted the first agentic AI benchmark …

精选理由

NVIDIA 首个智能体基准,GB300 比 H200 强 23 倍

AI 摘要

NVIDIA 发布了首个智能体 AI 基准测试 AgentPerf 的结果。该基准由 Artificial Analysis 推出,测试系统在保持响应性的同时能并发运行多少个智能体。GB300 NVL72 在最低服务层级达到每兆瓦 61.4K 并发智能体,而 H200 仅为 2.6K,性能提升约 23.6 倍。测试模拟了真实编码智能体路径,涵盖 12 种以上编程语言,请求长度从 5K 到 131K token 不等,平均约 27K token。性能提升得益于 72 块 GPU 通过 NVLink 组成机架级系统,以及优化 MoE 专家分配、通信与计算重叠等软件技术。

AI 翻译 · 中文

NVIDIA 发布了首个智能体 AI 基准测试 AgentPerf 的结果。该基准由 Artificial Analysis 推出,测试系统在保持响应性的同时能并发运行多少个智能体。GB300 NVL72 在最低服务层级达到每兆瓦 61.4K 并发智能体,而 H200 仅为 2.6K,性能提升约 23.6 倍。测试模拟了真实编码智能体路径,涵盖 12 种以上编程语言,请求长度从 5K 到 131K token 不等,平均约 27K token。性能提升得益于 72 块 GPU 通过 NVLink 组成机架级系统,以及优化 MoE 专家分配、通信与计算重叠等软件技术。

rohanpaul_aiNVIDIA just posted the first agentic AI benchmark results where GB300 NVL72 runs up to 20x more coding agents per megawatt than H200. Older inference benchmarks mostly ask how fast a system can produce tokens after one p
  • LMSYS Org (SGLang)06-13 05:11原文
  • vLLM06-12 04:10原文
  • NVIDIA AI06-11 20:22原文
  • karminski-牙医 (AI工具)06-12 04:31原文
  • lmarena.ai06-12 20:28原文
  • ollama06-13 01:26原文
  • Ate-a-Pi06-11 02:40原文
  • Richard Socher06-11 15:30原文
  • Together AI06-11 20:04原文
  • Tri Dao (FlashAttention)06-12 04:20原文