06:49
官方账号Clement Delangue@ClementDelangue
官方账号Clement Delangue@ClementDelangue精选
推荐理由：本地模型速度翻倍，做本地部署的开发者终于可以告别卡顿，建议直接试试 MTP 支持。
MTP/多令牌预测
共 1 条相关 AI 资讯
5月25日
06:49
llama.cpp 新增 MTP（Multi-Token Prediction）支持，使本地模型推理速度大幅提升。在 A10G 上测试 Qwen3.6-27B 模型，生成速度从 25 tok/s 提升至 45 tok/s，增幅达 78%。这一优化让本地模型具备了作为日常驱动力的实用性，对本地部署和隐私敏感场景意义重大。开发者可直接在 llama.cpp 中启用 MTP 功能，体验更流畅的本地推理。