128TB 指的是单台 AI 服务器可配置的系统内存容量上限,目前主要出现在以 LPDDR6 为代表的大容量内存方案中,被视为衡量 AI 推理服务器承载超大模型能力的一个关键指标。随着大模型参数规模持续膨胀,传统几十 GB 到几 TB 的内存配置已难以满足单机部署需求,128TB 级别的内存容量正在成为高端 AI 服务器的竞争焦点。
128TB 内存配置的最新进展
当前焦点与观察点
围绕 128TB 级内存的讨论,核心在于技术路线之争:LPDDR6 大容量方案强调成本与能效,而 HBM 方案强调带宽,两者在推理场景下的取舍尚无定论。其次是生态成熟度——芯片平台、操作系统对超大物理内存的支持、以及软件栈能否有效利用 128TB 容量,都是落地前的实际门槛。观察点可以放在:Prometheus 类产品的实际交付与客户采用情况、LPDDR6 的量产进度,以及内存容量与存储带宽的匹配是否会催生新的服务器架构标准。总体来看,128TB 目前更多是头部厂商展示技术上限的信号,大规模普及仍取决于大模型推理需求的实际增长节奏。