10:38
官方账号vLLM@vllm_project
官方账号vLLM@vllm_project精选
推荐理由：vLLM拆开预填充和解码，TileRT提供低延迟解码，单用户618 tok/s，适合实时助手。
TileRT
共 3 条相关 AI 资讯
7月15日
10:38
vLLM项目实现了预填充与解码分离，TileRT通过vLLM V1连接器将自身低延迟解码引擎与vLLM预填充配对，无需修改vLLM代码。原生vLLM解码默认用于吞吐场景，TileRT解码用于延迟敏感场景（如智能体、实时助手）。TileRT在GLM-5.1-FP8（8×B200）上单用户解码达618 tok/s，启用推测解码（MTP）后约为无MTP基线的2倍，峰值接近800 tok/s。
6月9日
15:00
15:00IT之家（博客/媒体）
88°
推荐理由：万亿参数模型首次达到千 tokens/s 输出，做大规模推理或实时 AI 应用的团队可以直接申请体验，看看能否真正落地到生产环境。
00:49
00:49
官方一手marktechpost@Asif Razzaq
官方一手marktechpost@Asif Razzaq精选
推荐理由：1万亿参数跑出1000t/s