PyTorch推出原生TPU后端引擎vLLM和SGLang

Google和Meta工程师将在PyTorch Conference North America介绍基于TorchTPU的新vLLM和SGLang引擎。这些引擎使现有基础设施能在TPU上原生运行，保留GPU用户熟悉的调度器、批处理系统和OpenAI兼容API。新模型和功能可在TPU上运行，无需单独的TPU实现，生产环境运行经验包括编译时间、设备放置和KV缓存布局。