NVIDIA 发布 Dynamo Snapshot：基于 CRIU 的 AI 推理快速启动系统
NVIDIA 用 CRIU 快照解决了 Kubernetes 上 AI 推理的冷启动痛点，做模型推理部署的团队可以直接用这个工具来加速扩缩容，值得关注。
#AI推理
共 54 条 · 7 天 3 条 · 30 天 7 条
6月5日
6月4日
产品21:45
撼与 Sparkle 展出单槽 Arc Pro B70 显卡，8卡可组256GB显存工作站单槽设计让工作站能塞进8块GPU，256GB显存直接跑2000亿参数大模型，做本地AI推理或内容创作的团队值得关注，空间和预算都能省不少。
IT之家原文
SK海力士大连二厂将建200层FG NAND产线，瞄准AI推理QLC需求
SK海力士押注FG NAND路线，直接服务于AI推理对高容量QLC SSD的爆发需求，做AI基础设施或存储方案的团队值得关注这一技术动向。
IT之家原文
6月3日
行业19:11
TrendForce：DRAM 内存产业 2026Q1 营收环比增长 81%DRAM 价格暴涨直接推高服务器和 PC 成本，做硬件采购、云基础设施或 AI 推理部署的团队需要提前规划预算，建议关注后续价格走势。
IT之家原文
6月2日
6月1日
英特尔数据中心GPU Crescent Island：480GB内存，主打AI推理
做AI推理部署的团队终于有了英特尔的高内存选项——480GB LPDDR5x和350W功耗设计，适合需要大模型推理但不想堆多卡的场景，值得关注。
IT之家原文
5月30日
Fireworks 推出 Serverless 2.0：无需预留 GPU，三种服务路径
做 AI 推理部署的团队终于不用为可靠性提前锁死 GPU 了——Fireworks 的三种路径按需选，Kimi K2.6 和 GLM 5.1 还能跑 100+ tok/s，值得试试。
5月28日
产品22:12
慧荣发布AI负载优化SSD主控SM2524XT：14GB/s，DRAM-lessAI PC和边缘推理场景的存储瓶颈终于有了针对性解决方案，做AI硬件或部署本地模型的开发者值得关注这款主控的实际表现。
IT之家原文
字节跳动自研CPU，应对AI推理需求与芯片短缺
AI行业转向推理导致CPU短缺和涨价，字节跳动自研芯片是降本增效的关键一步。做AI基础设施或智能体开发的团队，值得关注这一趋势对供应链和成本的影响。
IT之家原文
5月27日
Greening AI Inference: 用准确率和延迟感知的用户激励降低碳排放
这篇论文为 AI 服务提供商提供了一个实用方案，通过用户激励平衡碳排放与服务质量，关注绿色 AI 的团队可以直接参考其两级订阅设计。
5月26日
产品23:26
英特尔数据中心AI推理GPU“Crescent Island”PCB曝光数据中心AI推理市场迎来新玩家，做AI部署和服务器优化的团队值得关注——160GB LPDDR5X内存和Xe3P架构的配置，可能改变推理成本格局。
IT之家原文
5月22日
行业16:20
杨元庆：未来GPU服务器70%用于推理，30%用于训练杨元庆的预测揭示了AI算力市场的结构性拐点——推理需求将主导未来，做AI应用部署和基础设施规划的团队值得关注这一趋势，提前调整算力采购策略。
IT之家原文
5月19日
产品16:43
Apache RocketMQ 5.x 推出 LiteTopic，毫秒级治理 AI 推理流量AI 推理任务流量波动大，传统 MQ 限流不够用——RocketMQ 5.x 的 LiteTopic 给了毫秒级控制能力，做 AI 推理服务或消息队列架构的团队值得关注。
