Chinese contentKog@AI 实现 3000 tokens/s 推理速度，8×AMD MI300X 跑 2B 模型
Kog@AI 把推理速度从 300 拉到 3000 tokens/s，做模型部署和推理优化的团队值得研究他们的内存流方法，直接看原文能学到如何消除 GPU 瓶颈。
#内存流
1 stories · 0 in 7 days · 0 in 30 days
Stories, products and papers tagged "内存流", newest first.
May 29
