Chinese contentvLLM 第一时间支持 Thinking Machines 的 Inkling-2-Small 模型
Thinking Machines 发了个 500B 的多模态 MoE,vLLM 发布当天就能跑,还带了 FP4 量化和投机解码优化。想自部署大模型的人可以看看集成细节,不用等闭源 API。
Thinking Machines 发了个 500B 的多模态 MoE,vLLM 发布当天就能跑,还带了 FP4 量化和投机解码优化。想自部署大模型的人可以看看集成细节,不用等闭源 API。