Cohere North Mini Code 性能测试结果
Some results: With North Mini Code (BF16 on 1×H100), we achieved 1.58x vs vLLM at BS=1 and 1.25x–1.4...
精选理由
Cohere 新模型 North Mini Code 在单卡 H100 上比 vLLM 更快，推理性能提升明显。
Cohere 发布 North Mini Code 模型测试结果。在 BF16 精度下使用单张 H100 显卡，BS=1 时比 vLLM 快 1.58 倍。在 BS=8 时，端到端服务速度达到 vLLM 的 1.25-1.41 倍。
原文 · Cohere
Some results: With North Mini Code (BF16 on 1×H100), we achieved 1.58x vs vLLM at BS=1 and 1.25x–1.4...
Some results: With North Mini Code (BF16 on 1×H100), we achieved 1.58x vs vLLM at BS=1 and 1.25x–1.41x end-to-end serving at BS=8 💬 1 🔄 0 ❤️ 0 👀 50 📊 1 ⚡
