13:13
vLLM@vllm_project
vLLM@vllm_project推荐理由：vLLM 和 NVIDIA 合作推出 DFlash 投机解码，Gemma-4 31B 推理速度提升近 6 倍，配置只需改一行 checkpoint 路径。
全部 AI 动态
AI 相关资讯全量信息流
6月24日
13:13
vLLM 项目宣布支持 DFlash 投机解码，用户只需将 EAGLE-3 检查点替换为 DFlash 检查点即可启用，无需修改代码。该功能通过开源 Speculators 库将 DFlash 草案模型与目标模型的隐藏状态连接。在单块 Blackwell Ultra GPU 上运行 Gemma-4 31B 模型，Math500 基准取得 5.8 倍吞吐量提升，GSM8K 提升 5.3 倍，HumanEval 提升 5.6 倍，MBPP 提升 4.4 倍。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
6月3日
10:27
10:27
arXiv cs.AI@Quentin Fuxa, Dominik Macháček
推荐理由：做同声传译或实时翻译系统的团队，终于有了一个在纯解码器 LLM 上跑 AlignAtt 的可行方案，低延迟场景下效果显著，值得参考实现。