21:16
官方账号LMSYS Org (SGLang)@lmsysorg
官方账号LMSYS Org (SGLang)@lmsysorg73°
推荐理由：SGLang让GLM5.2在B300上单用户跑500 tok/s，交互延迟几乎不随上下文增长，对多轮Agent任务很实用。
B300
共 1 条相关 AI 资讯
7月16日
21:16
SGLang通过优化在8块B300 GPU上实现bs=1时每用户500+ tok/s的吞吐量，单用户交互性相比基线提升18%至34%，高并发峰值吞吐提升6%至11%。新推出的TopK-V2内核在80K输入长度下加速2.33倍，在1M长度下加速10.17倍，使交互性在1M token范围内基本持平。GLM-5.2模型采用IndexShare架构于DSA层和更强的MTP头，结合SGLang的服务优化共同达成这一性能。