Primary sourcevLLM
View sourceEvent ·Multi-source
vLLM 上线对 Thinking Machines Inkling 模型的 Day-0 支持
vLLM 宣布对 Thinking Machines 的循环架构模型 Inkling 提供 Day-0 推理支持,用户在新模型发布当天即可用 vLLM 直接部署推理。Inkling 的核心设计是 12 个共享核心层,在单次前向传播中循环执行 3 次。 与传统 Transformer 一次前向输出结果不同,Inkling 在每次循环之间通过门控机制(gated messages)把上一轮的信息传递到下一轮,让模型在相同参数量下进行多步计算。这种 recurrent depth 思路被视为用“循环复用”替代“堆叠更深层”的另一种扩展路径。 推理框架的 Day-0 适配正在成为新架构模型的标配竞争点,vLLM 此前也为多款新模型提供过发布日支持。对部署方而言,循环架构能否在 vLLM 的 KV cache 和批处理调度下跑出实际吞吐优势,需要后续实测数据验证。
Current read
Thinking Machines 新发的循环架构模型 Inkling,vLLM 发布当天就能跑。12 层核心循环 3 次,靠门控消息在轮次间传信息,思路和堆深度的主流模型不一样。想在生产环境试新架构的部署工程师可以直接上手了。
10 sources58° AI heatLast updated 2026/11/20 20:14:24
Evidence
10 sourcesRelated source 1kimmonismus
View sourceRelated source 2Artificial Analysis
View sourceRelated source 3lmarena.ai
View sourceRelated source 4Julien Chaumond
View sourceRelated source 5Thinking Machines Lab
View sourceRelated source 6Clement Delangue
View sourceRelated source 7Mira Murati (TML)
View sourceRelated source 8Merve Noyan
View sourceRelated source 9ollama
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.