#vLLM
vLLM 刚发的 0.23.0 直接支持了 GLM-5.2，这个模型有 100 万 token 上下文，适合一口气写完整个项目代码，还能跨平台部署，写代码的可以试试。
vLLM推荐了Anyscale的这篇实战文章，讲清楚了PD Disagg在Ray Serve加vLLM上的做法，还在AMD MI325X上测过，值得搞推理部署的人看看。
vLLM v0.23.0 大更新，DeepSeek-V4 和 Llama 用户值得升级，新的 KV 缓存卸载能省显存，推理与工具调用解析也更顺了。
M3 的 1M 上下文和稀疏注意力架构解决了长文档和复杂智能体任务的性能瓶颈，做 RAG、代码分析和自动化工作流的团队可以直接在 vLLM 上部署试用。
编程智能体模型终于有了更高效的选择——K2.7-Code 在保持 1T 参数规模的同时，将激活参数压缩到 32B，做代码生成和推理的开发者可以直接在 vLLM 上复用现有部署，值得一试。
DiffusionGemma 用并行去噪替代逐 token 生成，大幅提升推理速度，做大规模文本生成或实时应用的团队可以直接在 vLLM 中体验，值得关注。
做智能体工作流和编码应用的开发者，现在可以直接用 vLLM 部署 Cohere 的 North Mini Code 模型，省去适配麻烦，建议试试。
做 LLM 后训练的团队终于有了 vLLM 生态内的 RL 框架选择——vime 简单稳定，直接可用，想尝试不同 RL 框架的开发者值得关注。
vLLM 是目前最主流的 LLM 推理框架之一，这门课直接教你量化、部署和基准测试，做模型部署或推理优化的工程师值得花时间学。
Cohere 的 W4A8 方案解决了大模型推理中内存与速度的权衡问题，做模型部署和推理优化的团队可以直接在 vLLM 中体验，值得关注。
KV 通信已成为分离式 LLM 服务的瓶颈，KVServe 用自适应压缩解决了静态策略的次优问题。做 LLM 推理系统优化或部署大规模服务的团队，这个框架值得关注，可以直接集成到 vLLM 中试用。
这一工作展示了扩散式推测解码在TPU上的实际落地价值，突破传统推测解码的顺序瓶颈，尤其利好大规模LLM推理场景。开源集成至vLLM有助于行业快速采用。