Kog@AI 实现 3000 tokens/s 推理速度，8×AMD MI300X 跑 2B 模型
Kog@AI 把推理速度从 300 拉到 3000 tokens/s，做模型部署和推理优化的团队值得研究他们的内存流方法，直接看原文能学到如何消除 GPU 瓶颈。
#内存流
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「内存流」标签的资讯、产品与论文，按刊登时间排，新的在上。
5月29日
Kog@AI 把推理速度从 300 拉到 3000 tokens/s，做模型部署和推理优化的团队值得研究他们的内存流方法，直接看原文能学到如何消除 GPU 瓶颈。
