Samsung's new vision: 10x faster AI system response

The company's goal is to increase token processing from 100 per second per user to 1,000 per second, supporting agents.

zHBM stacks HBM directly on AI accelerators, like a dedicated elevator in a hotel, achieving up to 8x the performance and 3x the efficiency of HBM5.

Samsung also announced plans to provide zNAND-O samples from 2028.While some see CXL as a potential solution to HBM's high cost and supply issues, OpenAI's Daniel Morris and Intel's Vidyadhar Tiwari are skeptical about its practical application for model running.

三星最新愿景：将 AI 系统的响应速度提升 10 倍

IT之家 9 月 17 日消息，据韩媒《The Chosun Daily》报道，当地时间 16 日，在美国加州圣克拉拉会议中心举行的“AI 基础设施峰会”上，AI 内存的未来成为讨论话题。 半导体企业还在峰会上公布了新产品路线图。三星电子希望借助上个月发布的下一代 AI 内存 zHBM，将 AI 加速器的响应速度 提升 10 倍 。 三星电子美国公司（DSA）负责存储产品规划的高管金仁东（音译）介绍：“现有对话式 AI 系统每秒为 每位用户处理 100 个词元（Tokens） ，我们的目标是 跃升至每秒 1000 个词元 ，为智能体提供支持。” zHBM 把 HBM 直接垂直堆叠在 AI 加速器上，他将其比作“在酒店客房里安装一部 直达一楼大堂的专用电梯 ”。这项设计可使性能最高达到 HBM5 的 8 倍，能效达到其 3 倍。 三星同时宣布，计划从 2028 年起提供三维存储方案 zNAND-O 的样品。 常被视为高带宽内存（HBM）补充方案的 CXL（Compute Express Link）技术，在会上遭到一些与会者质疑。 IT之家查询获悉，CXL 是下一代内存互连标准，可让计算设备连接更多内存，为服务器扩容，也能让不同服务器共享内存。AI 加速器则通过 CPU 访问这些内存。 部分半导体业人士看好这项技术，认为其普及后有望 缓解 HBM 价格高、供应不足的问题 。即使减少 HBM 用量，服务器也能保持相近性能，大幅降低搭建成本。 OpenAI 负责 AI 加速器设计的研究员丹尼尔 · 莫里斯对此持保留态度。“就 AI 模型的实际运行而言，我找不到 CXL 能用在哪里。如果一定要找一个用途，那就是存放大型 AI 模型中很少用到的冷数据。外界对它抱有期待，但我至今没有看到专门面向模型运行的实际应用。” 英特尔 AI 片上系统（SoC）架构负责人维迪娅 · 蒂亚加拉詹指出：“用 CXL 整合内存确实有益，但它补充的是辅助存储，无法替代 HBM。GPU 之间通过 CXL 传输数据，速度远远比不上 HBM。”这意味着，CXL 恐怕难以取代 HBM。主导 HBM 市场的三星电子和 SK 海力士，有望继续保持良好的发展势头。

This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Samsung, AI memory, zHBM, AI infrastructure.

Source attribution: curated from IT之家.