AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:内存优化×
6月16日
20:46
AITOP6月16日 20:46
600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI
6月12日
12:57
AITOP6月12日 12:57
Claude代码里藏了个20260612,18个月后的AI记忆革命已经开始倒计时
12:20
12:20Tri Dao (FlashAttention)@tri_dao
精选
WentaoGuo7 提出了一种对混合专家模型(MoE)反向传播的数学重写方法,显著降低了激活内存占用,并大幅提升了训练速度,尤其适用于细粒度MoE。该方法还利用了NVIDIA Blackwell架构的新特性(如2CTA MMA和CLC)来构建超快MoE内核。这一进展对于训练大规模MoE模型的团队具有重要意义,能有效缓解内存瓶颈并加速迭代。
AI模型MoE反向传播内存优化Blackwell加速

推荐理由:做MoE模型训练和推理的开发者,这个数学重写能直接降低你的显存压力并加速训练,尤其适合细粒度MoE场景,建议试试Blackwell新特性带来的性能提升。
原文
6月11日
15:28
AITOP6月11日 15:28
1107 vs 303:谷歌悄悄开源了一个“拆打字机”的模型,把大模型速度翻了4倍
15:23
AITOP6月11日 15:23
DiffusionGemma颠覆文本生成?自回归模型的“统治”要结束了
15:07
AITOP6月11日 15:07
每秒1107个token,Google开源的扩散模型为什么能改变本地推理格局?
6月7日
07:57
07:57Gary Marcus@GaryMarcus
Gary Marcus 转发了一则关于 TurboVec 的消息,该工具声称能将 AI 模型的内存占用从 31GB 压缩至 4GB,实现 16 倍的内存降低。TurboVec 在向量搜索速度上超越 FAISS,完全离线运行,兼容 LangChain 和 LlamaIndex,且完全开源。如果属实,这将大幅降低 AI 部署的硬件门槛,无需昂贵 GPU 集群和云依赖。Marcus 认为这类技术迟早会冲击现有数据基础设施投资。
AI产品TurboVec向量搜索开源/仓库内存优化FAISS

推荐理由:做向量搜索或部署 AI 应用的团队,如果被内存和 GPU 成本卡住,TurboVec 的开源方案值得一试——16 倍内存压缩可能改变你的架构选择。
原文
07:20
07:20Gary Marcus@GaryMarcus
Google 推出的 TurboVec 工具将 AI 向量搜索的内存占用从 31GB 降至 4GB,实现 16 倍压缩,同时搜索速度超越 FAISS。该工具完全开源,支持 LangChain 和 LlamaIndex,可在普通 Mac 上离线运行,无需昂贵 GPU 集群或云依赖。这一突破大幅降低了 AI 系统的部署成本,可能颠覆现有数据基础设施投资。
AI产品TurboVec向量搜索开源/仓库内存优化LangChain

推荐理由:做向量搜索或 AI 应用部署的开发者,内存和成本一直是痛点——TurboVec 直接砍掉 16 倍内存,还开源可离线跑,值得立刻试。
原文
6月6日
02:54
02:54Milvus@milvusio
Milvus 团队分享了一个用户案例:在单机 32GB 内存环境下,用 FLAT 索引配合 FP16 存储、mmap 内存映射和标量过滤,成功加载 2500 万 1280 维图像向量,实际驻留内存仅约 600MB,热查询延迟低于 100ms。默认 FP32 预估需 139GB,而 AISAQ 和 IVF_FLAT 索引均因构建或加载问题失败。该方案适合搜索空间远小于全量集合的场景,如租户级 RAG、带标签的图像搜索或电商搜索。
AI产品Milvus向量数据库内存优化FP16mmap

推荐理由:做向量搜索的团队常被内存预算卡住,这个案例直接展示了 FLAT + FP16 + mmap 的组合拳如何把 139GB 需求压到 600MB,适合资源受限的单机部署场景,值得参考。
原文
5月22日
23:00
23:00Milvus@milvusio
精选
SK Hynix 股价自2025年底涨近三倍,内存成本成向量搜索痛点。Milvus 提供 IVF_RABITQ 索引,在 1000 万 768 维向量基准中达到 94.7% 召回率,QPS 比 IVF_FLAT 高 3.6 倍,向量内存仅用约 1/32。还支持 SQ8/PQ 量化、mmap 按需分页、分层存储及 DiskANN 将索引移到 SSD,多种技术可叠加使用。
技巧MilvusIVF_RABITQ向量数据库内存优化DiskANN

推荐理由:Milvus 教你怎么省内存,效果实测
原文
5月16日
17:31
17:31Weaviate@weaviate_io
精选
Weaviate 发布了名为 HFresh 的新型向量搜索索引,它通过将向量存储在磁盘上,仅在内存中保留紧凑的质心索引,大幅降低了内存需求。HFresh 将向量划分为多个小区域(postings),利用内存中的 HNSW 索引定位相关区域,再从磁盘获取数据,并采用两级旋转量化压缩。相比传统 HNSW 索引,HFresh 在十亿级向量规模下仍能保持可预测的延迟,尤其适合高维嵌入、成本敏感部署和写入密集型场景。目前 HFresh 已在 Weaviate Cloud 中提供,建议在非生产环境中测试。
AI产品向量搜索HNSWHFreshWeaviate内存优化

推荐理由:做向量搜索的团队终于不用为内存账单发愁了——HFresh 把 HNSW 的内存占用砍到零头,十亿级向量也能跑在更小的机器上,成本敏感或写入密集的场景尤其值得一试。
原文
精选全部日报登录