论文11:41
CrossPool：分离 KV-Cache 和权重的冷 MoE 模型多 LLM 服务引擎这篇论文提出了 CrossPool，通过分离权重和 KV-cache 池，能大幅降低冷 MoE 模型的推理延迟，比现有系统快 10 倍以上。
#CrossPool
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「CrossPool」标签的资讯、产品与论文，按刊登时间排，新的在上。
6月24日
这篇论文提出了 CrossPool，通过分离权重和 KV-cache 池，能大幅降低冷 MoE 模型的推理延迟，比现有系统快 10 倍以上。