美光探索近 GPU NAND 闪存技术
美光探索近 GPU NAND 闪存，可支撑更大规模 AI 模型
美光研发的近 GPU NAND 闪存，能让 AI 模型突破显存限制，比传统存储方案更靠近 GPU，速度更快。
美光正在研发高耐久性 NAND 闪存模块，计划将其部署在距离 GPU 更近的位置。这种被称为'近 GPU NAND'的方案可以让 GPU 直接访问数百 GB 的 NAND 存储池，位于显存和普通存储之间充当高速缓冲层。与传统 TLC 或 QLC NAND 相比，该技术存储密度更低但 I/O 速度和带宽更高。该技术特别适合运行更大规模的 AI 大语言模型，可解决 LLM 推理的显存容量限制问题。
美光探索近 GPU NAND 闪存，可支撑更大规模 AI 模型
IT之家 9 月 2 日消息，据 DigiTimes 今天报道，美光正在研究高耐久性 NAND 闪存模块，该公司计划将其部署在距离 GPU 更近的位置，而不是像传统存储方案那样，通过多个协议连接到距 GPU 较远的存储池。 据报道，美光正在探索如何将 NAND 闪存进一步靠近 GPU，希望在存储密度和耐久性之间提供一种折中方案。这种产品当前被称为“近 GPU NAND”（IT之家注：near-GPU NAND），可用于处理非低延迟 / 高带宽工作负载。 这种方案可以让 GPU 直接访问数百 GB 的 NAND 存储池， 它可以直接放置在 GPU 封装内部或 PCB ，工作方式类似 HBM、GDDR7 等方案。与传统 TLC 或 QLC NAND 相比， 这种 NAND 芯片的存储密度更低 ，重点在于提升 I/O 速度、带宽。 该存储层位于显存和普通存储之间，可充当高速缓冲层，因此特别适合运行更大规模的 AI 大语言模型。该方案落地后，LLM 推理将不再受到显存容量限制。