#推理部署

共 9 条 · 7 天 1 条 · 30 天 3 条

vLLM 3 AI Gateway 1 Amazon SageMaker 1 AWS 1 Cohere 1 HuggingFace 1 LLM优化 1 MCP/工具 1

信息流里打上「推理部署」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月4日

行业 Agent 与开发者02:21

Cohere 发布 vLLM 线上活动报名链接

Cohere 挂了个 vLLM 主题的线上活动报名页，链接是 luma.com/vllm-y009，做推理部署的可以去看看议程。

#Cohere #vLLM #推理部署

官方账号Cohere@cohere原文

9月28日

技巧 Agent 与开发者精选73°00:57

PyTorch Conference 议程：用 PyTorch 与 vLLM 搭建企业级智能体推理

Red Hat 的人在 PyTorch Conference 讲怎么用 vLLM 把智能体推理跑到 7x24 企业级，聊 KV cache、并发这些真问题，做后端的可以看看。

#PyTorch #vLLM #Red Hat #推理部署

官方账号PyTorch@PyTorch原文

9月26日

技巧 Agent 与开发者精选76°15:03

vLLM 推出弹性专家并行，可在运行中增减 GPU

vLLM 的 MoE 服务现在能在线加减 GPU 不停机，NVIDIA 的人在 PyTorch 大会上讲实现细节，做推理部署的别错过。

#vLLM #NVIDIA #MoE #推理部署

事件专题

官方账号PyTorch@PyTorch2 个信源在谈原文

8月7日

产品 Agent 与开发者官方一手00:33

Amazon SageMaker Python SDK v3新增LLM推理推荐

AWS把LLM优化搬进了SageMaker的notebook，跑完基准测试直接给你部署建议，不用再手动调参了。

#Amazon SageMaker #Python SDK #AWS #LLM优化

官方一手AWS Machine Learning Blog@Dan Ferguson原文

7月28日

产品政策与合规精选06:28

Vercel AI Gateway 区域推理上线，请求可锁定美国或欧盟

Vercel 给 AI Gateway 加了区域推理，一个参数就能把请求锁在美国或欧盟，所有模型通用，省心又合规。

#Vercel #AI Gateway #区域推理 #推理部署

Guillermo Rauch@rauchg原文

7月20日

技巧 Agent 与开发者01:06

HuggingFace 本周二分享本地 AI：从硬件到软件详解

想自己跑大模型？HuggingFace 这场活动从硬件配到模型压缩全讲，还有现场演示，别错过。

#HuggingFace #本地部署 #推理部署 #模型压缩

官方账号Hugging Face@huggingface原文

6月12日

行业精选13:22

GLM-5 大规模部署中的 Scaling Pain 调试与优化

大模型从实验到生产，Scaling Pain 是绕不过的坎。做推理部署的工程师，这篇博客里的 KV Cache 竞态和 HiCache 同步问题很可能你也会遇到，建议直接收藏。

#GLM-5 #Scaling Pain #推理部署 #KV Cache

官方账号Z.ai (智谱国际)@Zai_org原文

5月30日

行业11:09

黄仁勋称Fireworks为“AI工厂的台积电”

黄仁勋的比喻点明了AI基础设施服务正在成为新产业链的关键环节，做AI部署和推理优化的团队值得关注Fireworks的模式。

#英伟达 #Fireworks #AI基础设施 #GTC 2026

Fireworks AI@FireworksAI_HQ原文

5月29日

技巧 Agent 与开发者精选08:37

NVIDIA发布在GPU上运行Step 3.7 Flash的指南

教你部署Step 3.7 Flash

#Step 3.7 Flash #NVIDIA #GPU部署 #推理部署

事件专题

官方账号NVIDIA AI@NVIDIAAI2 个信源在谈原文