13:57IT之家(博客/媒体)精选美满电子于6月24日发布Structera X和Structera A两款CXL控制器,配备CDB压缩-解压模块。该模块使用定制版LZ4无损压缩算法,对全零页面最高压缩比64:1。在Database (nci)数据类型测试中,压缩比达3.64x。Structera X支持超过6TB DDR5内存,Structera A集成16个Arm Neoverse V2核心。这是业内首批将硬件内联内存压缩写入OCP规格的产品。AI产品MarvellStructeraCXL内联压缩LZ4推荐理由:Marvell新出的Structera CXL控制器用硬件压缩把内存压了3.6倍,AI服务器内存不够用的问题有救了,比软件压缩快还不占CPU。原文
09:34arXiv: DeepSeek@Ruiyang Ma, Teng Ma, Junru Li, Hantian Zha, Xuchun Shang, Qingda Hu, Zheng Liu, Xinjun Yang, Tao Ma, Guojie Luo精选71°长上下文LLM推理的内存瓶颈日益突出。传统RDMA解耦内存池对于稀疏注意力模型效率低下,仍需完整获取KV缓存。SAC系统利用CXL的低延迟、缓存行粒度加载/存储语义,仅在推理时按需获取所需的top-k KV条目。在DeepSeek-V3.2上使用SGLang的评估显示,相比RDMA基线,SAC实现了2.1倍吞吐量提升、9.7倍TTFT降低和1.8倍TBT降低。论文SACCXLKV缓存稀疏注意力DeepSeek-V3.23 个信源在谈推荐理由:长上下文推理,内存传输是瓶颈。新方案SAC用CXL按需取KV缓存,比RDMA吞吐量翻倍、延迟降到十分之一,做稀疏推理的值得一看。原文