英伟达 Vera CPU 在智能体 AI 任务上干翻英特尔,延迟 29ms 对 64ms,直接快 2 倍多,搞 AI 推理的得关注。
DeepInfra 在生产环境测试中显示,英伟达 Vera CPU 在智能体 AI 负载下 runc 延迟为 29ms,而英特尔 Sapphire Rapids 为 64ms,速度提升 2.2 倍。相比 AMD Turin 9755,Vera 性能提升 80%。测试采用统一条件:20 物理核、单 NUMA 节点、启用 CPU confinement。Vera 的 IPC 为 3.62,高于英特尔 Granite Rapids 和 Sapphire Rapids 的 2.44。
IT之家 7 月 22 日消息,云端 AI 推理平台 DeepInfra 昨日(7 月 21 日)发布博文,报道称在生产环境下智能体 AI(Agentic AI)负载测试显示,英伟达 Vera CPU 速度是其它 CPU 的 2 倍多。 英伟达在此前官方博文中指出,相比较 AMD 的 Turin 9755 处理器,Vera CPU 在处理智能体 AI 负载上的性能提升 80%。 而在 DeepInfra 最新测试中,英伟达 Vera CPU 的 runc(基于 Linux 内核特性的“进程级”轻量化容器)延迟为 29ms,而英特尔 Sapphire Rapids 为 64ms, 英伟达 Vera 快 2.2 倍 。IT之家附上相关截图如下: 图源:deepinfra 测试环境使用统一条件:每次运行均为 20 个物理核、每核 1 线程、单 NUMA 节点,并启用 CPU confinement,超出核预算的运行会被丢弃。 芯片 Kata ms (deployed) runc ms (intrinsic) IPC NVIDIA Vera 58 29 3.62 AMD Zen5 Turin 87 35 — Intel Granite Rapids 103 51 2.44 Intel Sapphire Rapids 122 64 2.44 相关阅读: 《 英伟达详解 Vera CPU:专为智能体 AI 构建,88 个 Olympus 核心、1.2 TB/s LPDDR5X 内存 》