03:02
官方账号vLLM@vllm_project
官方账号vLLM@vllm_project84°
推荐理由：1T参数的开源多模态模型，百万token上下文，vLLM直接跑，4×GB200飙到380 tok/s，值得试试。
TML Inkling
共 1 条相关 AI 资讯
7月16日
03:02
Thinking Machines Lab发布了TML Inkling，一个1T参数的开源权重模型，支持文本、图像和音频多模态输入。其上下文窗口高达100万token，采用相对注意力、短卷积和MoE专家汇聚的新架构，并配备8个MTP头用于推测解码。vLLM已从首日支持该模型，在NVIDIA Blackwell和Hopper上运行，4×GB200 MTP可达380 tok/s/user。