AI模型精选

Together AI 为 Blackwell 优化推理引擎,TPS 提升 31%

The case for Blackwell in production agent infrast…

精选理由

Blackwell 上推理快了 31%

AI 摘要

Together AI 发布了基于 Blackwell 的推理引擎,在 AgentPerf 基准测试中,其 TPS 比次快的开源引擎高出 31%。该引擎通过为 Blackwell 的 Tensor Core 指令定制内核实现性能提升。Cursor 已将其实时编程助手部署在该推理栈上。Together AI 在推文中详细介绍了构建过程。

AI 翻译 · 中文

Together AI 发布了基于 Blackwell 的推理引擎,在 AgentPerf 基准测试中,其 TPS 比次快的开源引擎高出 31%。该引擎通过为 Blackwell 的 Tensor Core 指令定制内核实现性能提升。Cursor 已将其实时编程助手部署在该推理栈上。Together AI 在推文中详细介绍了构建过程。

Together AIThe case for Blackwell in production agent infrastructure just got cleaner. @ArtificialAnlys AgentPerf gives the hardware picture. Together's coding agent benchmarks give the inference picture: 31% more TPS than the nex