全部 AI 动态 · AI 热点

6月17日

08:07

marktechpost@Sana Hassan

精选71°

本文通过xFormers实现GPU上内存高效的Transformer模型。对比标准注意力实现，验证了内存高效注意力在不同序列长度下的速度和内存表现。教程涵盖因果掩码、打包变长序列（packed sequences）、分组查询注意力（GQA）以及自定义ALiBi偏置。最后将上述技术结合SwiGLU层和自动混合精度训练，构建了一个可训练的GPT风格模型。

技巧 xFormers Packed sequences GQA ALiBi SwiGLU 内存优化

推荐理由：手把手教你用xFormers做内存优化，打包序列、GQA、ALiBi、SwiGLU全都有，比标准实现省显存还快。

原文

6月16日

20:46

AITOP6月16日 20:46

600亿美元买下Cursor，xAI终于拿到了编程工具，但真正值得跟踪的或许不是AI

09:17

09:17IT之家（博客/媒体）

精选

AMD宣布收购内存优化公司MEXT，其核心技术通过内存分层将不常访问数据从DRAM迁移至NAND闪存。单位闪存成本远低于DRAM，能在不大幅增加主内存投入下扩大可用内存池。MEXT的预测性内存引擎借助AI模型分析访问模式，在应用请求前将数据从闪存迁回DRAM。这项技术有助于提高服务器内存利用率并降低总体拥有成本。

行业 AMD MEXT 内存优化 AI负载数据中心

推荐理由：AMD买了家让内存更省钱的公司，用闪存代替部分DRAM，对数据中心AI负载很实用。

原文

6月12日

12:57

AITOP6月12日 12:57

Claude代码里藏了个20260612，18个月后的AI记忆革命已经开始倒计时

12:20

Tri Dao (FlashAttention)@tri_dao

精选

WentaoGuo7 提出了一种对混合专家模型（MoE）反向传播的数学重写方法，显著降低了激活内存占用，并大幅提升了训练速度，尤其适用于细粒度MoE。该方法还利用了NVIDIA Blackwell架构的新特性（如2CTA MMA和CLC）来构建超快MoE内核。这一进展对于训练大规模MoE模型的团队具有重要意义，能有效缓解内存瓶颈并加速迭代。

AI模型 MoE 反向传播内存优化 Blackwell 加速

推荐理由：做MoE模型训练和推理的开发者，这个数学重写能直接降低你的显存压力并加速训练，尤其适合细粒度MoE场景，建议试试Blackwell新特性带来的性能提升。

原文

6月11日

15:28

AITOP6月11日 15:28

1107 vs 303：谷歌悄悄开源了一个“拆打字机”的模型，把大模型速度翻了4倍

15:23

AITOP6月11日 15:23

DiffusionGemma颠覆文本生成？自回归模型的“统治”要结束了

15:07

AITOP6月11日 15:07

每秒1107个token，Google开源的扩散模型为什么能改变本地推理格局？

6月7日

07:57

Gary Marcus@GaryMarcus

Gary Marcus 转发了一则关于 TurboVec 的消息，该工具声称能将 AI 模型的内存占用从 31GB 压缩至 4GB，实现 16 倍的内存降低。TurboVec 在向量搜索速度上超越 FAISS，完全离线运行，兼容 LangChain 和 LlamaIndex，且完全开源。如果属实，这将大幅降低 AI 部署的硬件门槛，无需昂贵 GPU 集群和云依赖。Marcus 认为这类技术迟早会冲击现有数据基础设施投资。

AI产品 TurboVec 向量搜索开源/仓库内存优化 FAISS

推荐理由：做向量搜索或部署 AI 应用的团队，如果被内存和 GPU 成本卡住，TurboVec 的开源方案值得一试——16 倍内存压缩可能改变你的架构选择。

原文

07:20

Gary Marcus@GaryMarcus

Google 推出的 TurboVec 工具将 AI 向量搜索的内存占用从 31GB 降至 4GB，实现 16 倍压缩，同时搜索速度超越 FAISS。该工具完全开源，支持 LangChain 和 LlamaIndex，可在普通 Mac 上离线运行，无需昂贵 GPU 集群或云依赖。这一突破大幅降低了 AI 系统的部署成本，可能颠覆现有数据基础设施投资。

AI产品 TurboVec 向量搜索开源/仓库内存优化 LangChain

推荐理由：做向量搜索或 AI 应用部署的开发者，内存和成本一直是痛点——TurboVec 直接砍掉 16 倍内存，还开源可离线跑，值得立刻试。

原文

6月6日

02:54

Milvus@milvusio

Milvus 团队分享了一个用户案例：在单机 32GB 内存环境下，用 FLAT 索引配合 FP16 存储、mmap 内存映射和标量过滤，成功加载 2500 万 1280 维图像向量，实际驻留内存仅约 600MB，热查询延迟低于 100ms。默认 FP32 预估需 139GB，而 AISAQ 和 IVF_FLAT 索引均因构建或加载问题失败。该方案适合搜索空间远小于全量集合的场景，如租户级 RAG、带标签的图像搜索或电商搜索。

AI产品 Milvus 向量数据库内存优化 FP16 mmap

推荐理由：做向量搜索的团队常被内存预算卡住，这个案例直接展示了 FLAT + FP16 + mmap 的组合拳如何把 139GB 需求压到 600MB，适合资源受限的单机部署场景，值得参考。

原文

6月3日

11:09

11:09IT之家（博客/媒体）

精选72°

微软为适配英伟达 RTX Spark AI 超级芯片，深度改造 Windows 11 底层，包括引入工作负载配置调度、优化大内存页管理、调优 Prism 模拟器。RTX Spark 采用双 Die 设计，整合 Grace 20 核 Arm CPU 和 Blackwell RTX GPU，可在本地运行 120B 参数大模型。微软通过动态调度 20 个 CPU 核心，平衡性能与功耗，并改善 GPU 访问系统内存时的页面管理。此外，Prism 已针对 RTX Spark 微架构调优，提升 x86 应用模拟性能，同时 NVIDIA 将 OpenShell 运行时带到 Windows 桌面，增强本地 AI 智能体的安全性。

AI产品 RTX Spark Windows 11 AI 超级芯片 Arm 内存优化

推荐理由：微软为 RTX Spark 深度优化 Win11 底层，解决了 AI 工作负载在 Arm 平台上的调度和内存瓶颈，做本地大模型部署或 AI 智能体开发的团队可以直接受益，值得关注。

原文

10:38

arXiv cs.LG@Ting-Yun Chang, Harvey Yiyun Fu, Deqing Fu, Chenghao Yang, Jesse Thomason, Robin Jia

精选

推理模型通过长思维链提升准确性，但长输出导致内存和计算瓶颈。现有KV缓存淘汰方法在压缩缓存时会丢失关键信息，导致模型陷入重复推理循环。研究发现，少量值状态具有异常大的幅度，淘汰它们会引发灾难性失败；引入随机性可提高缓存多样性。基于此，研究者提出VaSE方法，无需训练即可保护大幅度值状态并促进多样化淘汰决策。在6个推理任务上，Qwen3模型使用VaSE实现4倍KV缓存压缩，准确率超过最强淘汰方法4%以上，弥合了效率与准确性之间的差距。

论文 KV缓存推理模型内存优化随机淘汰 Qwen3

推荐理由：推理模型的长输出让内存和计算成本飙升，VaSE用随机淘汰策略在4倍压缩下保持高准确率，做推理模型优化的开发者可以直接参考论文实现。

原文

5月22日

23:00

Milvus@milvusio

精选

SK Hynix 股价自2025年底涨近三倍，内存成本成向量搜索痛点。Milvus 提供 IVF_RABITQ 索引，在 1000 万 768 维向量基准中达到 94.7% 召回率，QPS 比 IVF_FLAT 高 3.6 倍，向量内存仅用约 1/32。还支持 SQ8/PQ 量化、mmap 按需分页、分层存储及 DiskANN 将索引移到 SSD，多种技术可叠加使用。

技巧 Milvus IVF_RABITQ 向量数据库内存优化 DiskANN

推荐理由：Milvus 教你怎么省内存，效果实测

原文

5月19日

11:24

arXiv cs.AI@Yasuyuki Okoshi, Hao Mark Chen, Guanxi Lu, Hongxiang Fan, Masato Motomura, Daichi Fujiki

精选

现代大语言模型依赖长前缀来控制推理行为，但前缀影响会随生成衰减，且注意力计算成本随前缀长度线性增长。现有方法要么压缩前缀但仍需注意力计算，要么通过梯度训练内化前缀但更新困难。本文提出 attention-state memory，一种无训练方法，将前缀与查询 token 的预计算注意力状态外化到轻量级查找表中。在 ManyICLBench 上，LLaMA-3.1-8B 在 1K-8K 内存预算下准确率超过上下文学习，注意力延迟降低 1.36 倍；在 NBA 基准上仅用 20% 内存就超越全注意力 RAG 性能。

论文长上下文注意力机制 LLM推理无训练方法内存优化

推荐理由：长上下文推理的注意力瓶颈终于有了轻量级解法——无训练、可更新、内存高效，做 LLM 推理优化或长文档应用的团队值得关注。

原文

5月16日

17:31

Weaviate@weaviate_io

精选

Weaviate 发布了名为 HFresh 的新型向量搜索索引，它通过将向量存储在磁盘上，仅在内存中保留紧凑的质心索引，大幅降低了内存需求。HFresh 将向量划分为多个小区域（postings），利用内存中的 HNSW 索引定位相关区域，再从磁盘获取数据，并采用两级旋转量化压缩。相比传统 HNSW 索引，HFresh 在十亿级向量规模下仍能保持可预测的延迟，尤其适合高维嵌入、成本敏感部署和写入密集型场景。目前 HFresh 已在 Weaviate Cloud 中提供，建议在非生产环境中测试。

AI产品向量搜索 HNSW HFresh Weaviate 内存优化

推荐理由：做向量搜索的团队终于不用为内存账单发愁了——HFresh 把 HNSW 的内存占用砍到零头，十亿级向量也能跑在更小的机器上，成本敏感或写入密集的场景尤其值得一试。

原文