Event ·Multi-source

Vercel 推出 Private Inference,可在 AI Gateway 中接入自托管与微调模型

Vercel 宣布 Private Inference 正式上线 AI Gateway,开发者可通过 private/<slug> 的路由方式,把自己的微调模型、自托管模型或未公开发布的预发布模型接入网关,与目录中的商业模型混用。这些私有模型走同一套 API、鉴权与日志体系,不需要为私有部署单独维护调用链路。CEO Guillermo Rauch 在推文中把这套思路归纳为四点:使用开放的 SDK 与 harness、通过 Gateway 掌控模型选择、掌控 traces 与数据并执行 ZDR(零数据保留)、通过私有推理掌控自己的模型。 技术上看,Private Inference 的核心价值在于统一入口:无论请求打到 OpenAI 等目录模型,还是打到你自己部署在私有环境的模型,代码层面都是同一套 API 调用,日志和追踪也落在同一处,方便做灰度切换和成本对比。ZDR(Zero Data Retention)的强调意味着数据不会被 Vercel 侧留存,这对有合规要求的团队是关键点。对开发者而言,这意味着可以在不自建网关层的情况下,实现对模型供应商、私有模型和数据流的完整掌控,把'智能路线图'的所有权留在自己手里。

Current read

Vercel 把私有模型接进了 AI Gateway,一个 private/ 前缀就能同时调用自托管和商业模型,日志鉴权全统一,还支持零数据保留。正在自建模型网关或纠结混合部署的团队可以看看这套方案。

11 sources42° AI heatLast updated 2026/11/16 22:36:21

Evidence

11 sources
Primary sourceGuillermo Rauch
View source
Related source 1Tibor Blaho
View source
Related source 2阿里通义 Qwen
View source
Related source 4Vercel AI
View source
Related source 5Simon Willison’s Weblog
View source
Related source 8Aravind Srinivas
View source
Related source 9shao__meng
View source
Related source 10TestingCatalog
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.