11:41
arXiv cs.LG@Zhuoren Ye, Tianyu Wo, Dinghao Xue, Mingming Zhang, Yuchen Teng, Chunming Hu, Renyu Yang
推荐理由：这篇论文提出了 CrossPool，通过分离权重和 KV-cache 池，能大幅降低冷 MoE 模型的推理延迟，比现有系统快 10 倍以上。
全部 AI 动态
AI 相关资讯全量信息流
6月24日
11:41
CrossPool 是一种为冷 MoE 模型设计的多 LLM 服务引擎，它将 FFN 权重和 KV-cache 分离到两个 GPU 内存池中。权重池合并多个冷模型的 FFN 权重，KV-cache 池动态服务活跃请求，使注意力计算局部化。系统包含 KV-cache 规划器、虚拟化器、层间流水线调度器以及持久化内核，减少了 CPU-GPU 控制开销。在突发长上下文请求下，CrossPool 相比基于 KV-cache 的最先进多 LLM 服务系统，将 P99 TBT 降低了最多 10.4 倍。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07