精选理由
vLLM 合并了 Cohere 的动态投机解码，能根据硬件和批次大小自适应，想提升推理速度的可以试试。
Cohere 团队开发了硬件感知的动态投机解码（Dynamic SD）并合并到 vLLM 项目。传统方法使用固定数量的草稿 token，而 DSD 会根据批次大小和硬件自适应调整。在有利场景下实现加速，在不利场景下回退以保持性能。该更新提升了 vLLM 在推理时的效率。
原文 · vLLM
Huge thanks to the @cohere team for tackling this …
Huge thanks to the @cohere team for tackling this head-on with hardware-aware Dynamic SD, now merged into vLLM.
Instead of a fixed number of draft tokens, DSD adapts to the batch size and hardware, so you get the speedups where they help and clean fallback where they'd otherwise hurt.
Love seeing this land in the project 🙌 Read more below 👇