AITOPAI热报

#NVIDIA AIPerf

1 stories · 1 in 7 days · 1 in 30 days
TensorRT-LLM 1vLLM 1合规审计 1推理优化 1
Stories, products and papers tagged "NVIDIA AIPerf", newest first.
Nov 10
PapersBuilders15:53
Chinese contentMasterControl 推出 Runway：基于 NVIDIA AIPerf 的受监管场景推理验证管线

做 LLM 上线选型的工程团队可以看这篇。MasterControl 把 NVIDIA AIPerf 包成一条带审计留痕的决策管线，还发现 vLLM 和 TensorRT-LLM 的排名随并发反转、贵 GPU 单请求成本反而更低，这些结论直接影响你的压测和采购决策。

#NVIDIA AIPerf#TensorRT-LLM#vLLM#推理优化
Event
arXiv cs.LG@Dev Akre et al. (3)Source