全部 AI 动态 · AI 热点

6月16日

20:46

AITOP6月16日 20:46

600亿美元买下Cursor，xAI终于拿到了编程工具，但真正值得跟踪的或许不是AI

600亿美元买下Cursor，xAI终于拿到了编程工具，但真正值得跟踪的或许不是AI

6月12日

12:57

AITOP6月12日 12:57

Claude代码里藏了个20260612，18个月后的AI记忆革命已经开始倒计时

6月11日

15:28

AITOP6月11日 15:28

1107 vs 303：谷歌悄悄开源了一个“拆打字机”的模型，把大模型速度翻了4倍

15:23

AITOP6月11日 15:23

DiffusionGemma颠覆文本生成？自回归模型的“统治”要结束了

15:07

AITOP6月11日 15:07

每秒1107个token，Google开源的扩散模型为什么能改变本地推理格局？

5月19日

20:59

20:59

Julien Chaumond@julien_c

llama.cpp 支持 MTP（多 token 预测），这是一种内置于模型中的推测解码，可将 token 生成速度提升约 2 倍。需要升级 llama.cpp 到 build 9200 以上（可使用 brew install --HEAD）。可选 Dense 27B 或 35B A3B MoE 模型，前者在 48-64GB 内存下约 30 tok/s，后者可达约 100 tok/s。运行命令为 llama-server 加上 --spec-type draft-mtp 参数。

技巧 llama.cpp MTP Qwen3.6 推理模型开源模型

推荐理由：教你用 Qwen3.6 跑出 2 倍速推理

5月14日

16:33

16:33

berryxia@berryxia

UnslothAI 创始人 Daniel Han 发布了 Qwen3.6 的实验性 MTP GGUF 版本，通过投机解码技术大幅提升推理速度。27B 模型在单 GPU 上达到 140 tokens/s，35B-A3B 版本更达 220 tokens/s，比原版 GGUF 快 1.4 倍且精度无损。最佳 draft tokens 设为 2，过高会导致接受率下降。这一突破显著提升了本地大模型的性能上限，让消费级显卡能更高效运行 30B+ 参数模型。

AI模型 Qwen3.6 GGUF 投机解码本地推理 UnslothAI

推荐理由：本地大模型性能天花板被再次抬高，玩 llama.cpp、跑本地 Agent 或日常 coding 的开发者可以直接用上，体验 30B+ 模型在消费级显卡上的流畅速度。