inferact

Inferact 是开源推理引擎 vLLM 背后的商业公司，由这一发源于 UC Berkeley 的学生项目发展而来，处于大模型推理基础设施的商业化前沿。随着 Agent 类应用流量占比上升，推理服务的负载特征正在改变，Inferact 一方面持续资助 vLLM 开源社区，一方面围绕 Agent 场景做商业化优化，近期也完成了大额融资。

Inferact 近期进展

vLLM 从 Berkeley 学生项目成长为开源推理引擎，背后的 Inferact 融资 1.5 亿美元：a16z 披露 Inferact 完成 1.5 亿美元融资，这标志着 vLLM 的开源生态正式进入公司化运营阶段，也反映出资本对推理基础设施赛道的持续看好。

Agent 流量成推理服务器特殊负载，Inferact 在 vLLM 上做前缀缓存优化：与传统聊天请求不同，Agent 会产生大量带共享前缀的重复请求，Inferact 针对这一特征在 vLLM 上优化前缀缓存，以降低长上下文 Agent 场景的推理成本。

Anyscale 将在 PyTorch Conference 举办 Ray 与 vLLM 团队咖啡聚会：Inferact 所在的 vLLM 社区持续与 Ray、PyTorch 生态联动，线下交流密集，包括此前 10 月 15 日在多伦多由 Cohere 与 NVIDIA 联合主办的 Meetup。

当前焦点与观察点

推理基础设施的竞争焦点正从单纯的吞吐优化转向 Agent 负载的专门处理——前缀缓存、长上下文（如 1M 上下文的 Reflection-Beam-1.0 获得 vLLM Day-0 支持）以及新硬件适配（NVIDIA Vera Rubin、TPUv7）都是活跃方向。值得关注的是：其一，Inferact 拿到 1.5 亿美元后能否在保持 vLLM 开放性的同时建立可持续的商业模式；其二，Agent 流量占比提升是否会让推理引擎的架构设计出现分化；其三，SGLang 等竞品的追赶压力下，vLLM 的社区领先优势能维持多久。对依赖开源推理栈的团队而言，这些将直接影响未来一两年技术选型的成本与风险。

Overview

Inferact 近期进展

当前焦点与观察点

Coverage