#多 token 预测

2 stories · 0 in 7 days · 1 in 30 days

AMTP 1 Llama-3.1 1 Qwen3 1 推理加速 1

Stories, products and papers tagged "多 token 预测", newest first.

Oct 21

Papers Builders10:13

Chinese contentAMTP：自适应多 token 预测让 Llama-3.1 解码提速至 4.1 倍

arXiv 上这篇论文给 MTP 解码加了个轻量控制器，不用重训练就能自动选草稿长度，Llama-3.1 上最高跑出 4.1 倍解码速度，做推理优化的可以看看。

#AMTP #Llama-3.1 #Qwen3 #多 token 预测

arXiv cs.AI@Emile Anand et al. (3)Source

Jun 12

Models US vs ChinaMulti-source04:41

Chinese contentNVIDIA Nemotron 3 深度解析：混合 Mamba Transformer + 潜在 MoE + MTP

Nemotron 3 的架构创新直击大模型推理效率瓶颈，做模型优化和部署的开发者值得关注其混合 Mamba 和潜在 MoE 的具体实现，可以直接参考其设计思路。

#Nemotron 3 #混合 Mamba Transformer #潜在 MoE #多 token 预测

官方账号NVIDIA AI@NVIDIAAI11 sourcesSource