内存优化相关 AI 资讯

AITOP

8月12日

18:14

官方账号arXiv cs.LG@Artyom Sabitov, Daniil Volkov, Alexey Zaytsev

论文推荐系统采样softmax 内存优化

推荐理由：推荐系统训练时内存不够用？这篇论文告诉你该加批大小还是加负样本，结论很实用。

原文

8月9日

08:59

08:59IT之家（博客/媒体）

微软Windows部门负责人Pavan Davuluri承认Windows 11运行缓慢、内存占用过高，并承诺在2026年底前针对8GB内存设备优化。今年6月推送的Low Latency Profile调度器优化，让CPU在用户操作核心界面时1至3秒内提升至最高频率。文件资源管理器删除大文件更快、右键菜单与快速设置提速已推送。搜索功能删除Bing结果后明显加快，小部件从5月起默认关闭MSN资讯和广告。不过微软仍被批评修复太晚，且强制登录微软账户问题尚未解决。

AI产品 Windows 11 微软 WinUI

推荐理由：微软承认 Win11 变慢、广告多，承诺 2026 年前优化 8GB 内存设备，部分修复已推送，老电脑可更新试试。

原文

8月6日

13:26

13:26IT之家（博客/媒体）

IDC 分析师 Jitesh Ubrani 称，MacBook Neo 给 PC 生态带来竞争压力，促使厂商推新芯片、与微软优化系统并调整定价。IDC 预测到 2026 年 PC 平均售价将增长 17%，内存成本上涨导致价格难回 2025 年水平。微软 Windows 部门副总裁 Marcus Ash 表示，将像解决全栈问题一样从像素显示到内核调度器和驱动降低内存占用。微软设计合作总监 March Rogers 称正用 WinUI 3 重构 Windows 11 界面，弃用 Win32 和 WebView2 组件以降低内存与性能负担。微软还在测试 WPA 接入 AI，让开发者通过 MCP 用 GitHub Copilot CLI 分析 Windows 11 性能问题。

行业 MacBook Neo Windows 11 WinUI 3

推荐理由：苹果 MacBook Neo 一施压，微软开始认真处理 Win11 吃内存的问题，WinUI 3 和 WPA AI 都安排上了。

原文

12:28

官方一手arXiv: DeepSeek@Masato Fujitake

论文提出 MESH，一种用于 MoE 专家层的隐藏动量 Sinkhorn 更新。在 110M 参数 DeepSeek 风格 MoE 预训练中，SAGE/Sinkhorn 混合把优化器状态从 0.883GB 降到 0.331GB，但评估损失 3.8265，差于 AdamW 基线的 3.58-3.64。MESH 在梯度缓冲区生命周期内恢复一阶矩信号，且不将专家一阶矩存入优化器状态。两个额外种子中，MESH 和 MESH-B 相对 AdamW 减少 62.5% 优化器状态内存，峰值 CUDA 分配下降约 12.6%，评估损失差距较小。

论文 MESH Sinkhorn 混合专家模型

推荐理由：MoE 训练显存吃紧？MESH 方法砍掉六成优化器内存，损失只差一点，做大规模训练的可以试试。

原文

7月23日

09:45

Guillermo Rauch@rauchg

AI 工具 Fable 几乎自主地在 Turbopack 和 Next.js 代码库中发现并实现了 15-30% 的内存效率改进。Vercel CEO 分享称这是每周都会发生的“AI 神力时刻”，认为“每日常规 AI 奇迹”正加速到来。此前 3 天，另一 AI 工具 Sol 帮助在审计最多的代码中发现了新漏洞。

AI产品 Fable Turbopack Next.js

推荐理由：Fable 自己找到了 Next.js 内存优化 15-30%，这 AI 太猛了。看看它怎么干活的。

原文

7月15日

02:16

官方账号Clement Delangue@ClementDelangue

精选

Clement Delangue 转推了 SpiritBun 的 VBR（Variable Bit Rate）KV 缓存格式。该格式在会话增长过程中逐层动态量化 KV 缓存，在 VRAM 限制内最大化生成质量。目前代码已合入主分支并可用。

AI模型 VBR KV缓存量化

推荐理由：SpiritBun 搞了个新 KV 缓存格式 VBR，逐层动态量化，在显存限制内榨出最高质量，已开源可用。

原文

6月17日

08:07

官方一手marktechpost@Sana Hassan

精选71°

本文通过xFormers实现GPU上内存高效的Transformer模型。对比标准注意力实现，验证了内存高效注意力在不同序列长度下的速度和内存表现。教程涵盖因果掩码、打包变长序列（packed sequences）、分组查询注意力（GQA）以及自定义ALiBi偏置。最后将上述技术结合SwiGLU层和自动混合精度训练，构建了一个可训练的GPT风格模型。

技巧 xFormers Packed sequences GQA

推荐理由：手把手教你用xFormers做内存优化，打包序列、GQA、ALiBi、SwiGLU全都有，比标准实现省显存还快。

原文

6月16日

09:17

09:17IT之家（博客/媒体）

精选

AMD宣布收购内存优化公司MEXT，其核心技术通过内存分层将不常访问数据从DRAM迁移至NAND闪存。单位闪存成本远低于DRAM，能在不大幅增加主内存投入下扩大可用内存池。MEXT的预测性内存引擎借助AI模型分析访问模式，在应用请求前将数据从闪存迁回DRAM。这项技术有助于提高服务器内存利用率并降低总体拥有成本。

行业 AMD MEXT 内存优化

推荐理由：AMD买了家让内存更省钱的公司，用闪存代替部分DRAM，对数据中心AI负载很实用。

原文

6月12日

12:20

官方账号Tri Dao (FlashAttention)@tri_dao

精选

WentaoGuo7 提出了一种对混合专家模型（MoE）反向传播的数学重写方法，显著降低了激活内存占用，并大幅提升了训练速度，尤其适用于细粒度MoE。该方法还利用了NVIDIA Blackwell架构的新特性（如2CTA MMA和CLC）来构建超快MoE内核。这一进展对于训练大规模MoE模型的团队具有重要意义，能有效缓解内存瓶颈并加速迭代。

AI模型 MoE 反向传播内存优化

事件专题

推荐理由：做MoE模型训练和推理的开发者，这个数学重写能直接降低你的显存压力并加速训练，尤其适合细粒度MoE场景，建议试试Blackwell新特性带来的性能提升。

原文

6月7日

07:57

Gary Marcus@GaryMarcus

Gary Marcus 转发了一则关于 TurboVec 的消息，该工具声称能将 AI 模型的内存占用从 31GB 压缩至 4GB，实现 16 倍的内存降低。TurboVec 在向量搜索速度上超越 FAISS，完全离线运行，兼容 LangChain 和 LlamaIndex，且完全开源。如果属实，这将大幅降低 AI 部署的硬件门槛，无需昂贵 GPU 集群和云依赖。Marcus 认为这类技术迟早会冲击现有数据基础设施投资。

AI产品 TurboVec 向量搜索开源/仓库

推荐理由：做向量搜索或部署 AI 应用的团队，如果被内存和 GPU 成本卡住，TurboVec 的开源方案值得一试——16 倍内存压缩可能改变你的架构选择。

原文

07:20

Gary Marcus@GaryMarcus

Google 推出的 TurboVec 工具将 AI 向量搜索的内存占用从 31GB 降至 4GB，实现 16 倍压缩，同时搜索速度超越 FAISS。该工具完全开源，支持 LangChain 和 LlamaIndex，可在普通 Mac 上离线运行，无需昂贵 GPU 集群或云依赖。这一突破大幅降低了 AI 系统的部署成本，可能颠覆现有数据基础设施投资。

AI产品 TurboVec 向量搜索开源/仓库

推荐理由：做向量搜索或 AI 应用部署的开发者，内存和成本一直是痛点——TurboVec 直接砍掉 16 倍内存，还开源可离线跑，值得立刻试。

原文

6月6日

02:54

Milvus@milvusio

Milvus 团队分享了一个用户案例：在单机 32GB 内存环境下，用 FLAT 索引配合 FP16 存储、mmap 内存映射和标量过滤，成功加载 2500 万 1280 维图像向量，实际驻留内存仅约 600MB，热查询延迟低于 100ms。默认 FP32 预估需 139GB，而 AISAQ 和 IVF_FLAT 索引均因构建或加载问题失败。该方案适合搜索空间远小于全量集合的场景，如租户级 RAG、带标签的图像搜索或电商搜索。

AI产品 Milvus 向量数据库内存优化

推荐理由：做向量搜索的团队常被内存预算卡住，这个案例直接展示了 FLAT + FP16 + mmap 的组合拳如何把 139GB 需求压到 600MB，适合资源受限的单机部署场景，值得参考。

原文

6月3日

11:09

11:09IT之家（博客/媒体）

精选72°

微软为适配英伟达 RTX Spark AI 超级芯片，深度改造 Windows 11 底层，包括引入工作负载配置调度、优化大内存页管理、调优 Prism 模拟器。RTX Spark 采用双 Die 设计，整合 Grace 20 核 Arm CPU 和 Blackwell RTX GPU，可在本地运行 120B 参数大模型。微软通过动态调度 20 个 CPU 核心，平衡性能与功耗，并改善 GPU 访问系统内存时的页面管理。此外，Prism 已针对 RTX Spark 微架构调优，提升 x86 应用模拟性能，同时 NVIDIA 将 OpenShell 运行时带到 Windows 桌面，增强本地 AI 智能体的安全性。

AI产品 RTX Spark Windows 11 AI 超级芯片

事件专题

推荐理由：微软为 RTX Spark 深度优化 Win11 底层，解决了 AI 工作负载在 Arm 平台上的调度和内存瓶颈，做本地大模型部署或 AI 智能体开发的团队可以直接受益，值得关注。

原文

10:38

官方账号arXiv cs.LG@Ting-Yun Chang, Harvey Yiyun Fu, Deqing Fu, Chenghao Yang, Jesse Thomason, Robin Jia

精选

推理模型通过长思维链提升准确性，但长输出导致内存和计算瓶颈。现有KV缓存淘汰方法在压缩缓存时会丢失关键信息，导致模型陷入重复推理循环。研究发现，少量值状态具有异常大的幅度，淘汰它们会引发灾难性失败；引入随机性可提高缓存多样性。基于此，研究者提出VaSE方法，无需训练即可保护大幅度值状态并促进多样化淘汰决策。在6个推理任务上，Qwen3模型使用VaSE实现4倍KV缓存压缩，准确率超过最强淘汰方法4%以上，弥合了效率与准确性之间的差距。

论文 KV缓存推理模型内存优化

推荐理由：推理模型的长输出让内存和计算成本飙升，VaSE用随机淘汰策略在4倍压缩下保持高准确率，做推理模型优化的开发者可以直接参考论文实现。

原文

5月22日

23:00

Milvus@milvusio

精选

SK Hynix 股价自2025年底涨近三倍，内存成本成向量搜索痛点。Milvus 提供 IVF_RABITQ 索引，在 1000 万 768 维向量基准中达到 94.7% 召回率，QPS 比 IVF_FLAT 高 3.6 倍，向量内存仅用约 1/32。还支持 SQ8/PQ 量化、mmap 按需分页、分层存储及 DiskANN 将索引移到 SSD，多种技术可叠加使用。

技巧 Milvus IVF_RABITQ 向量数据库

推荐理由：Milvus 教你怎么省内存，效果实测

原文

5月19日

11:24

官方账号arXiv cs.AI@Yasuyuki Okoshi, Hao Mark Chen, Guanxi Lu, Hongxiang Fan, Masato Motomura, Daichi Fujiki

精选

现代大语言模型依赖长前缀来控制推理行为，但前缀影响会随生成衰减，且注意力计算成本随前缀长度线性增长。现有方法要么压缩前缀但仍需注意力计算，要么通过梯度训练内化前缀但更新困难。本文提出 attention-state memory，一种无训练方法，将前缀与查询 token 的预计算注意力状态外化到轻量级查找表中。在 ManyICLBench 上，LLaMA-3.1-8B 在 1K-8K 内存预算下准确率超过上下文学习，注意力延迟降低 1.36 倍；在 NBA 基准上仅用 20% 内存就超越全注意力 RAG 性能。

论文长上下文注意力机制 LLM推理

推荐理由：长上下文推理的注意力瓶颈终于有了轻量级解法——无训练、可更新、内存高效，做 LLM 推理优化或长文档应用的团队值得关注。

原文

5月16日

17:31

Weaviate@weaviate_io

精选

Weaviate 发布了名为 HFresh 的新型向量搜索索引，它通过将向量存储在磁盘上，仅在内存中保留紧凑的质心索引，大幅降低了内存需求。HFresh 将向量划分为多个小区域（postings），利用内存中的 HNSW 索引定位相关区域，再从磁盘获取数据，并采用两级旋转量化压缩。相比传统 HNSW 索引，HFresh 在十亿级向量规模下仍能保持可预测的延迟，尤其适合高维嵌入、成本敏感部署和写入密集型场景。目前 HFresh 已在 Weaviate Cloud 中提供，建议在非生产环境中测试。

AI产品向量搜索 HNSW HFresh

推荐理由：做向量搜索的团队终于不用为内存账单发愁了——HFresh 把 HNSW 的内存占用砍到零头，十亿级向量也能跑在更小的机器上，成本敏感或写入密集的场景尤其值得一试。

原文