精选理由
做智能体工作流和编码应用的开发者,现在可以直接用 vLLM 部署 Cohere 的 North Mini Code 模型,省去适配麻烦,建议试试。
vLLM 宣布对 Cohere 的 North Mini Code 模型提供 Day-0 支持,该模型是一个开源的编码模型,专为智能体工作流设计。模型采用 Mixture-of-Experts 架构,总参数量 30B,活跃参数 3B,支持 256K 上下文和 64K 最大生成长度。它具备推理、工具使用和结构化输出能力,可直接通过最新稳定版 vLLM 部署。这一支持让开发者能快速在 vLLM 上运行该模型,用于构建复杂的智能体应用。
AI 翻译 · 中文
vLLM 宣布对 Cohere 的 North Mini Code 模型提供 Day-0 支持,该模型是一个开源的编码模型,专为智能体工作流设计。模型采用 Mixture-of-Experts 架构,总参数量 30B,活跃参数 3B,支持 256K 上下文和 64K 最大生成长度。它具备推理、工具使用和结构化输出能力,可直接通过最新稳定版 vLLM 部署。这一支持让开发者能快速在 vLLM 上运行该模型,用于构建复杂的智能体应用。
🚀Day-0 support for @cohere's North Mini Code on vLLM! Ready to serve with the latest vLLM stable release, this open-source coding model is built for agentic workflows: 🧩 30B total / 3B active — Mixture-of-Experts …