主要来源arXiv: DeepSeek
查看原文事件专题 · 官方一手
SAC: 基于CXL的稀疏注意力LLM解耦KV缓存系统
长上下文LLM推理的内存瓶颈日益突出。传统RDMA解耦内存池对于稀疏注意力模型效率低下，仍需完整获取KV缓存。SAC系统利用CXL的低延迟、缓存行粒度加载/存储语义，仅在推理时按需获取所需的top-k KV条目。在DeepSeek-V3.2上使用SGLang的评估显示，相比RDMA基线，SAC实现了2.1倍吞吐量提升、9.7倍TTFT降低和1.8倍TBT降低。
当前结论
长上下文推理，内存传输是瓶颈。新方案SAC用CXL按需取KV缓存，比RDMA吞吐量翻倍、延迟降到十分之一，做稀疏推理的值得一看。
4 个信源71° AI 热度最后更新 2026/6/18 03:21:32
证据链
相关来源 1IT之家
查看原文相关来源 2Sebastian Raschka
查看原文相关来源 3marktechpost
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。