Event ·Multi-source

vLLM 上线对 Thinking Machines Inkling 模型的 Day-0 支持

vLLM 宣布对 Thinking Machines 的循环架构模型 Inkling 提供 Day-0 推理支持,用户在新模型发布当天即可用 vLLM 直接部署推理。Inkling 的核心设计是 12 个共享核心层,在单次前向传播中循环执行 3 次。 与传统 Transformer 一次前向输出结果不同,Inkling 在每次循环之间通过门控机制(gated messages)把上一轮的信息传递到下一轮,让模型在相同参数量下进行多步计算。这种 recurrent depth 思路被视为用“循环复用”替代“堆叠更深层”的另一种扩展路径。 推理框架的 Day-0 适配正在成为新架构模型的标配竞争点,vLLM 此前也为多款新模型提供过发布日支持。对部署方而言,循环架构能否在 vLLM 的 KV cache 和批处理调度下跑出实际吞吐优势,需要后续实测数据验证。

Current read

Thinking Machines 新发的循环架构模型 Inkling,vLLM 发布当天就能跑。12 层核心循环 3 次,靠门控消息在轮次间传信息,思路和堆深度的主流模型不一样。想在生产环境试新架构的部署工程师可以直接上手了。

10 sources58° AI heatLast updated 2026/11/20 20:14:24

Evidence

10 sources
Related source 1kimmonismus
View source
Related source 2Artificial Analysis
View source
Related source 3lmarena.ai
View source
Related source 4Julien Chaumond
View source
Related source 5Thinking Machines Lab
View source
Related source 6Clement Delangue
View source
Related source 7Mira Murati (TML)
View source
Related source 8Merve Noyan
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.