三星发布下一代AI内存zHBM,目标将AI系统响应速度提升10倍
三星这个AI内存方案挺有意思,把HBM直接堆叠在AI加速器上,就像给酒店客房装了直达大堂的专用电梯,能大幅提升响应速度,比现在每秒处理100个词元快10倍,达到每秒1000个词元。
IT之家原文
三星这个AI内存方案挺有意思,把HBM直接堆叠在AI加速器上,就像给酒店客房装了直达大堂的专用电梯,能大幅提升响应速度,比现在每秒处理100个词元快10倍,达到每秒1000个词元。
朋友,Kepler 这家新公司搞了个 FeRAM 内存,用 3D 堆叠技术,性能接近 SRAM 但容量更大,还不用 EUV 设备,挺有意思的。
三星 HBM4E 良率冲到 70%,离量产不远了,还给下一代 AI 加速器 Vera Rubin Ultra 供货,内存赛道竞争加速。
AI 芯片性能越来越受内存瓶颈限制,做 AI 基础设施或芯片投资的团队需要理解 HBM 的产能节奏——SK hynix 的扩产计划直接关系到 GPU 供应和成本,值得关注。
AI训练和推理团队长期受困于显存带宽与功耗的拉扯,英特尔的9层堆叠方案直接给出0.25 Tb/s/mm²带宽和0.35 W/mm²功耗的硬指标,做高性能计算或AI芯片的开发者值得关注这一技术路线。