10:38
官方账号vLLM@vllm_project
官方账号vLLM@vllm_project精选
推荐理由：vLLM拆开预填充和解码，TileRT提供低延迟解码，单用户618 tok/s，适合实时助手。
GLM-5.1-FP8
共 1 条相关 AI 资讯
7月15日
10:38
vLLM项目实现了预填充与解码分离，TileRT通过vLLM V1连接器将自身低延迟解码引擎与vLLM预填充配对，无需修改vLLM代码。原生vLLM解码默认用于吞吐场景，TileRT解码用于延迟敏感场景（如智能体、实时助手）。TileRT在GLM-5.1-FP8（8×B200）上单用户解码达618 tok/s，启用推测解码（MTP）后约为无MTP基线的2倍，峰值接近800 tok/s。