ModelsSelected

vLLM 上线对 Thinking Machines Inkling 模型的 Day-0 支持

Why we picked it

Thinking Machines 新发的循环架构模型 Inkling,vLLM 发布当天就能跑。12 层核心循环 3 次,靠门控消息在轮次间传信息,思路和堆深度的主流模型不一样。想在生产环境试新架构的部署工程师可以直接上手了。

vLLM 宣布对 Thinking Machines 的循环架构模型 Inkling 提供 Day-0 推理支持,用户在新模型发布当天即可用 vLLM 直接部署推理。Inkling 的核心设计是 12 个共享核心层,在单次前向传播中循环执行 3 次。

Body

与传统 Transformer 一次前向输出结果不同,Inkling 在每次循环之间通过门控机制(gated messages)把上一轮的信息传递到下一轮,让模型在相同参数量下进行多步计算。这种 recurrent depth 思路被视为用“循环复用”替代“堆叠更深层”的另一种扩展路径。

推理框架的 Day-0 适配正在成为新架构模型的标配竞争点,vLLM 此前也为多款新模型提供过发布日支持。对部署方而言,循环架构能否在 vLLM 的 KV cache 和批处理调度下跑出实际吞吐优势,需要后续实测数据验证。

Original · vLLM

Stay in the loop with vLLM.

Day-0 vLLM support for @thinkymachines’ new looped Inkling model has landed. 12 shared core layers, 3 passes, and gated messages from one pass to the next.

1/4 https://t.co/n1FzpXC0T9

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include vLLM, Thinking Machines, Inkling, open-source models.

Source attribution: curated from vLLM (@vllm_project).