Cuda

general · First seen 2026-05-22 · Last seen 2026-10-28 · 259 mentions

Overview

CUDA 是 NVIDIA 推出的并行计算平台与编程模型,长期作为 GPU 上运行 AI 训练与推理的主流软件生态,是 NVIDIA 硬件护城河的核心。随着各家芯片厂商与开源框架试图绕开或兼容 CUDA 生态,这一由 NVIDIA 主导的技术标准正处在竞争与开放并存的关键阶段。

CUDA 生态近期进展

  • NVIDIA 让 CUDA 首次接入移动网络,并押注 AI 医疗影像:NVIDIA 开始把 CUDA 能力延伸到移动网络场景,同时加码 AI 医疗影像方向,表明其正试图将软件栈拓展到传统数据中心之外的新领域。
  • NVIDIA 将 Run:ai GPU 编排平台以 Apache 2.0 协议开源:NVIDIA 把此前收购的 Run:ai GPU 编排平台按 Apache 2.0 协议开源,围绕 Kubernetes 的 GPU 调度能力向社区开放,被视为回应“CUDA 封闭”批评的姿态之一。
  • 亚马逊开源 TorchNeuron,PyTorch 代码可零改动跑在 Trainium 芯片上:亚马逊推出 TorchNeuron,让 PyTorch 代码无需修改即可在其自研 Trainium 芯片上运行,直接瞄准 CUDA 生态的迁移成本优势。
  • vLLM 预编译字节码优化,启动时间缩短 14–18%:主流推理框架 vLLM 通过预编译字节码将启动时间缩短 14–18%,这类框架层面的优化通常构建在 CUDA 之上,也在持续抬升 GPU 推理效率上限。
  • 当前焦点与观察点

    CUDA 的核心争议在于开放性与锁定效应:一方面它拥有最成熟的算子库和开发者群体,短期内难以替代;另一方面,TorchNeuron 等零改动兼容方案正在降低用户迁往自研芯片的门槛,而 NVIDIA 开源 Run:ai 等动作也可解读为以开放换生态粘性。值得关注的是,CUDA 正在从数据中心向移动网络、医疗影像等场景扩展,同时新一代硬件(如黄仁勋公布的 Vera Rubin 系统,含 NVL72、MGX、CMX、RTX 四大组件)继续以软硬件协同方式强化优势。未来半年,PyTorch 生态与各家非 NVIDIA 芯片的兼容进度,以及开源框架对 CUDA 替代路径的成熟度,将是观察这一生态竞争的关键指标。

    Coverage

    10 on file
    Cuda · AI 话题观测|AI热报