10:16arXiv: DeepSeek@Luxi Lin, Shuang Peng, Rui Ma, Junhao Hua, Shuwei Fan, Zhengda Qin, Qiang Wang, Hongjian Sun, Fangmin Chen, Songwei LiuHyperDFlash是一种针对DeepSeek-V4多超连接架构的块并行推测解码框架。它通过预折叠残差状态保持多路径结构,并用门控残差缩减器将参数减少三个数量级。同时引入KL蒸馏损失正则化LM-head预测。在数学推理、代码合成和对话基准上,HyperDFlash的平均接受长度和解码加速比均优于原生MTP和DFlash基线。AI模型HyperDFlashDeepSeek-V4MTPDFlash推测解码推荐理由:DeepSeek-V4新出的HyperDFlash框架,用门控缩减和蒸馏让推测解码提速,比MTP和DFlash都厉害。原文
20:59Julien Chaumond@julien_cllama.cpp 支持 MTP(多 token 预测),这是一种内置于模型中的推测解码,可将 token 生成速度提升约 2 倍。需要升级 llama.cpp 到 build 9200 以上(可使用 brew install --HEAD)。可选 Dense 27B 或 35B A3B MoE 模型,前者在 48-64GB 内存下约 30 tok/s,后者可达约 100 tok/s。运行命令为 llama-server 加上 --spec-type draft-mtp 参数。技巧llama.cppMTPQwen3.6推理模型开源模型推荐理由:教你用 Qwen3.6 跑出 2 倍速推理原文