NVIDIA 官方 LLM 推理基准指标定义，把 LLM 推理的每个指标概念都搞清楚！

NVIDIA NIM LLMs Benchmarking 2.0.0 核心是围绕 prefill/decode 两阶段执行模型构建的一套指标体系。文档定义了 TTFT（首 token 延迟）从提交请求到收到第一个输出 token 的时间，包含排队时间 + prefill 计算 + 网络延迟。e2e Request Latency 是 TTFT + Generation_time，包含排队、批处理调度、网络在内的全部时间。ITL / TPOT 是 token 间延迟，AIPerf 公式为 (e2e_latency - TTFT) / (output_tokens - 1)，反映解码阶段的速度。TPS 是出 token 吞吐，系统级 TPS = Total_output_tokens / (Ty - Tx)，是所有并发请求的总输出吞吐。RPS 是单位时间成功完成的请求数，与 TPS 的区别在于计的是“请求条数”而非“token 个数”。