HiCache 相关 AI 资讯 · AI 热点

7月10日

22:15

22:15

官方账号LMSYS Org (SGLang)@lmsysorg

精选

Netpreme发布博客，介绍将X-Mem MPU插入SGLang HiCache的分层KV缓存方案。在SWE-bench的Claude Code多轮编码中，前缀缓存命中率平均达98%。用X-Mem替换主机DRAM作为卸载层级后，TTFT降低6.7倍，每用户TPS提升33-50%，系统吞吐量提升30%。该方案通过HiCache的分层接口实现即插即用。

AI模型 Netpreme X-Mem SGLang HiCache SWE-bench

推荐理由：Netpreme的X-Mem内存插进SGLang的HiCache，多轮对话缓存带宽不再是瓶颈，TTFT降6.7倍，吞吐量涨30%，实测SWE-bench效果显著。