08:07marktechpost@Sana Hassan精选71°本文通过xFormers实现GPU上内存高效的Transformer模型。对比标准注意力实现,验证了内存高效注意力在不同序列长度下的速度和内存表现。教程涵盖因果掩码、打包变长序列(packed sequences)、分组查询注意力(GQA)以及自定义ALiBi偏置。最后将上述技术结合SwiGLU层和自动混合精度训练,构建了一个可训练的GPT风格模型。技巧xFormersPacked sequencesGQAALiBiSwiGLU内存优化推荐理由:手把手教你用xFormers做内存优化,打包序列、GQA、ALiBi、SwiGLU全都有,比标准实现省显存还快。原文
09:17IT之家(博客/媒体)精选AMD宣布收购内存优化公司MEXT,其核心技术通过内存分层将不常访问数据从DRAM迁移至NAND闪存。单位闪存成本远低于DRAM,能在不大幅增加主内存投入下扩大可用内存池。MEXT的预测性内存引擎借助AI模型分析访问模式,在应用请求前将数据从闪存迁回DRAM。这项技术有助于提高服务器内存利用率并降低总体拥有成本。行业AMDMEXT内存优化AI负载数据中心推荐理由:AMD买了家让内存更省钱的公司,用闪存代替部分DRAM,对数据中心AI负载很实用。原文
12:20Tri Dao (FlashAttention)@tri_dao精选WentaoGuo7 提出了一种对混合专家模型(MoE)反向传播的数学重写方法,显著降低了激活内存占用,并大幅提升了训练速度,尤其适用于细粒度MoE。该方法还利用了NVIDIA Blackwell架构的新特性(如2CTA MMA和CLC)来构建超快MoE内核。这一进展对于训练大规模MoE模型的团队具有重要意义,能有效缓解内存瓶颈并加速迭代。AI模型MoE反向传播内存优化Blackwell加速10 个信源在谈推荐理由:做MoE模型训练和推理的开发者,这个数学重写能直接降低你的显存压力并加速训练,尤其适合细粒度MoE场景,建议试试Blackwell新特性带来的性能提升。原文
11:09IT之家(博客/媒体)精选72°微软为适配英伟达 RTX Spark AI 超级芯片,深度改造 Windows 11 底层,包括引入工作负载配置调度、优化大内存页管理、调优 Prism 模拟器。RTX Spark 采用双 Die 设计,整合 Grace 20 核 Arm CPU 和 Blackwell RTX GPU,可在本地运行 120B 参数大模型。微软通过动态调度 20 个 CPU 核心,平衡性能与功耗,并改善 GPU 访问系统内存时的页面管理。此外,Prism 已针对 RTX Spark 微架构调优,提升 x86 应用模拟性能,同时 NVIDIA 将 OpenShell 运行时带到 Windows 桌面,增强本地 AI 智能体的安全性。AI产品RTX SparkWindows 11AI 超级芯片Arm内存优化10 个信源在谈推荐理由:微软为 RTX Spark 深度优化 Win11 底层,解决了 AI 工作负载在 Arm 平台上的调度和内存瓶颈,做本地大模型部署或 AI 智能体开发的团队可以直接受益,值得关注。原文
10:38arXiv cs.LG@Ting-Yun Chang, Harvey Yiyun Fu, Deqing Fu, Chenghao Yang, Jesse Thomason, Robin Jia精选推理模型通过长思维链提升准确性,但长输出导致内存和计算瓶颈。现有KV缓存淘汰方法在压缩缓存时会丢失关键信息,导致模型陷入重复推理循环。研究发现,少量值状态具有异常大的幅度,淘汰它们会引发灾难性失败;引入随机性可提高缓存多样性。基于此,研究者提出VaSE方法,无需训练即可保护大幅度值状态并促进多样化淘汰决策。在6个推理任务上,Qwen3模型使用VaSE实现4倍KV缓存压缩,准确率超过最强淘汰方法4%以上,弥合了效率与准确性之间的差距。论文KV缓存推理模型内存优化随机淘汰Qwen3推荐理由:推理模型的长输出让内存和计算成本飙升,VaSE用随机淘汰策略在4倍压缩下保持高准确率,做推理模型优化的开发者可以直接参考论文实现。原文
AITOP5月29日 08:02Opus 4.8发布:编程助手的“静默时刻”,是解放开发者,还是新门槛?🔥Anthropic 把 AI 编程的“确认键”彻底删掉了!Claude Code 搭载全新 Opus 4.8 模型,长时间任务不跑偏、不废话、不中断,像一个资深工程师一样默默干活,从功能开发到漏洞清扫全包圆,你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”,现在它直接交完整交付物……自主编程的最后一层窗户纸,被捅破了。做自动化开发和代码审查的团队,这个模型建议直接上手,效率差距肉眼可见……
11:24arXiv cs.AI@Yasuyuki Okoshi, Hao Mark Chen, Guanxi Lu, Hongxiang Fan, Masato Motomura, Daichi Fujiki精选现代大语言模型依赖长前缀来控制推理行为,但前缀影响会随生成衰减,且注意力计算成本随前缀长度线性增长。现有方法要么压缩前缀但仍需注意力计算,要么通过梯度训练内化前缀但更新困难。本文提出 attention-state memory,一种无训练方法,将前缀与查询 token 的预计算注意力状态外化到轻量级查找表中。在 ManyICLBench 上,LLaMA-3.1-8B 在 1K-8K 内存预算下准确率超过上下文学习,注意力延迟降低 1.36 倍;在 NBA 基准上仅用 20% 内存就超越全注意力 RAG 性能。论文长上下文注意力机制LLM推理无训练方法内存优化推荐理由:长上下文推理的注意力瓶颈终于有了轻量级解法——无训练、可更新、内存高效,做 LLM 推理优化或长文档应用的团队值得关注。原文
17:31Weaviate@weaviate_io精选Weaviate 发布了名为 HFresh 的新型向量搜索索引,它通过将向量存储在磁盘上,仅在内存中保留紧凑的质心索引,大幅降低了内存需求。HFresh 将向量划分为多个小区域(postings),利用内存中的 HNSW 索引定位相关区域,再从磁盘获取数据,并采用两级旋转量化压缩。相比传统 HNSW 索引,HFresh 在十亿级向量规模下仍能保持可预测的延迟,尤其适合高维嵌入、成本敏感部署和写入密集型场景。目前 HFresh 已在 Weaviate Cloud 中提供,建议在非生产环境中测试。AI产品向量搜索HNSWHFreshWeaviate内存优化推荐理由:做向量搜索的团队终于不用为内存账单发愁了——HFresh 把 HNSW 的内存占用砍到零头,十亿级向量也能跑在更小的机器上,成本敏感或写入密集的场景尤其值得一试。原文