20:29
官方账号vLLM@vllm_project
官方账号vLLM@vllm_project精选72°
推荐理由：vLLM 合并了 Cohere 的动态投机解码，能根据硬件和批次大小自适应，想提升推理速度的可以试试。
Dynamic SD
共 1 条相关 AI 资讯
7月12日
20:29
Cohere 团队开发了硬件感知的动态投机解码（Dynamic SD）并合并到 vLLM 项目。传统方法使用固定数量的草稿 token，而 DSD 会根据批次大小和硬件自适应调整。在有利场景下实现加速，在不利场景下回退以保持性能。该更新提升了 vLLM 在推理时的效率。