23:50
Fireworks AI@FireworksAI_HQ
Fireworks AI@FireworksAI_HQ精选
推荐理由：FireworksAI 推出新一代推理引擎，实现每步更新权重，大幅提升生成速度和 GPU 利用率。
GPU利用率
共 1 条相关 AI 资讯
8月31日
23:50
FireworksAI 发布了新一代推理引擎，实现了每步部署新权重的权重同步机制。该引擎在 rollout throughput 方面显著提升了生成速度和 GPU 利用率。Cofounder @jamesr66a 详细介绍了如何构建同时满足这三点要求的系统。