Event ·Multi-source

SGLang 推理引擎新增对 AWS Trainium 芯片的支持

开源推理引擎 SGLang 宣布支持 Amazon 的 AWS Trainium 芯片。Meta 和 Google 等顶级实验室都在使用这款软件来运行 AI 模型。 在此之前,SGLang 已经支持 NVIDIA、AMD、Intel 和 Google 的芯片。新增 Trainium 后,AI 公司可以按自己的流水线选择最合适的芯片,而无需更换推理软件。其工作方式是接收请求、在芯片上运行模型,然后同时把结果返回给大量用户。 除了文本模型,SGLang 还能运行 FLUX 和 Wan2.2 这类图像与视频模型。对使用 AWS 自研芯片的企业来说,这意味着可以在熟悉的软件栈上部署 Trainium,减少对 NVIDIA 生态的依赖。

Current read

做推理部署的可以关注:SGLang 把 AWS Trainium 也收进了支持列表,加上原有的 NVIDIA、AMD、Intel 和 Google 芯片,一套软件就能切换多家硬件。如果你的团队在评估 Trainium 成本优势,现在不用换框架就能试。跑 FLUX、Wan2.2 这类视频模型的也用得上。

11 sources63° AI heatLast updated 2026/11/17 18:28:25

Evidence

11 sources
Primary sourceTestingCatalog
View source
Related source 3Detik Inet
View source
Related source 4NVIDIA AI
View source
Related source 6Aravind Srinivas
View source
Related source 7Tech in Asia
View source
Related source 8marktechpost
View source
Related source 10Fei-Fei Li
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.

SGLang Adds AWS Trainium Support for Inference · 事件专题 | AITOP