vLLM-Omni 流式架构解析：首块音频延迟约 47 ms

vLLM 项目的 johnrobinsn 拆解了 vLLM-Omni 的流式架构实现。方案将流式 codec 输出写入共享内存环形缓冲区，由 Code2Wav 按块消费，无需等待完整序列生成。这种设计让第一块音频的 wall-clock 延迟达到约 47 ms。文中给出了整体数据流的清晰说明。