AITOPAI热报
ProductsMulti-source

Google 开源 TorchTPU，让 PyTorch 原生跑在 TPU 芯片上

Blognone@mk
Blog/Media· 3 sources
Read the original
Why we picked it

Google 和 Meta 一起做了 TorchTPU，PyTorch 代码不用改就能跑 TPU，vLLM、SGLang 这些库都能配合，已开源在 GitHub。

Google 发布 TorchTPU，这是 PyTorch 的原生后端，可让 PyTorch 代码直接在 TPU 芯片上以完整性能运行，思路类似 Amazon 让 PyTorch 编译到 Trainium 芯片的 TorchNeuron。该项目由 Google 与 Meta 的 PyTorch 团队共同开发，2025 年启动，并在 PyTorch Conference 2026 上以全开源形式上架 GitHub。Google 还与 Hugging Face 合作测试多个开源模型在 TorchTPU 上的表现，并联合 vLLM、SGLang、Ray、TorchTitan 等库验证 TPU 上的实际使用。

Image · Blognone
Original · Blognone

กูเกิลเปิดตัว TorchTPU รันโค้ด PyTorch บนชิป TPU แบบเนทีฟ Body กูเกิลเปิดตัว TorchTPU แบ็คเอนด์ของไลบรารี PyTorch เพื่อรันบน TPU แบบเนทีฟได้เต็มประสิทธิภาพ แบบเดียวกับ Amazon ออก TorchNeuron คอมไพล์โค้ด PyTorch ไปรันบนชิป Trainium TorchTPU เป็นการร่วมพัฒนาระหว่างกูเกิลกับทีม PyTorch ของ Meta เพื่อขยายการใช้งาน PyTorch ไปยังชิปใหม่ๆ นอกเหนือจาก CPU และ GPU แบบดั้งเดิม กูเกิลยังจับมือกับ Hugging Face ทดสอบการรันโมเดลแบบเปิดหลายๆ ตัวบน TorchTPU ว่าได้ประสิทธิภาพดีจริง รวมถึงร่วมกับไลบรารีดังๆ อย่าง vLLM, SGLang, llm-d, TorchTitan, VeRL, Ray, LiteRT เพื่อทดสอบการใช้งานบน TPU ด้วย กูเกิลเริ่มพัฒนา TorchTPU มาตั้งแต่ปี 2025 และเปิดตัวเป็นโอเพนซอร์สเต็มรูปแบบบน GitHub ในงาน PyTorch Conference 2026 สัปดาห์นี้ ที่มา - Google Cloud , PyTorch mk Fri, 23/10/2026 - 07:06

  • PyTorch10-21 16:30原文
  • AWS Machine Learning Blog10-21 20:00原文
#TorchTPU#PyTorch#TPU#vLLM#开发者工具

Keep reading

Recent stories with the same tag or section
ProductsBuildersSelected08:03
PyTorchCon 2026 Draws 3,500+ Attendees and Adds Nine Members

Hardware vendors Google, AWS and Meta are converging on native PyTorch support, signalling that the framework has become the de facto portability layer across TPUs, Trainium and GPUs. Engineers training models outside NVIDIA silicon should track TorchTPU and TorchNeuron as they mature. The conference returns to San Jose on 6–7 Oct 2027.

#PyTorch#TorchTPU#TorchTitan#open-source models
Event
官方账号PyTorch@PyTorch2 sourcesSource
ProductsBuildersSelected01:25
TorchTPU brings out-of-the-box PyTorch execution on TPUs

PyTorch users no longer need vendor-specific forks or heavy rewrites to move training and inference onto TPUs, which lowers the barrier to diversifying GPU-heavy fleets. Engineers evaluating TPU capacity against NVIDIA GPU costs can now test portability with their existing codebase. Google's own stack gains a smoother on-ramp for the PyTorch ecosystem's massive installed base.

#TorchTPU#PyTorch#TPU#torch.compile
官方账号PyTorch@PyTorchSource
ProductsBuildersSelected72°00:31
TorchTPU brings native PyTorch support for Google TPUs

PyTorch developers can now target TPU hardware through the same APIs they already use, reducing the migration cost that historically kept most teams on NVIDIA GPUs. Teams running training or inference pipelines with TorchTitan, vLLM, or SGLang can evaluate TPUs without rewriting code. The use of agents for kernel generation and sharding also hints at how optimization work itself may be automated.

#TorchTPU#PyTorch#Google#Meta
Event
官方账号PyTorch@PyTorch2 sourcesSource