行业精选
首个 TPUv7 提交现身 AgentX，由 vLLM 提供推理服务
精选理由
vLLM 和 Google 的朋友把模型跑上了最新的 TPUv7，还提交了 AgentX 成绩，关注推理硬件的可以看看。
vLLM 项目宣布首个 TPUv7 提交已登陆 AgentX 平台，由 vLLM 提供推理服务。此次运行由 Google 的 TPU 团队、RedHat_AI 和 inferact 团队协作完成。vLLM 团队表示后续会有更多模型通过 AgentX 落地到 TPU 上运行。
原文 · vLLM
We’re excited to see the first TPUv7 submission to AgentX, served with vLLM.
Thanks to the @Google TPU, @RedHat_AI, and @inferact folks who put in the work to get it running, and we’re looking forward to more models landing on TPU through AgentX.
