H100

H100 是英伟达推出的高性能 GPU，专为 AI 训练和推理设计，自发布以来一直是大型模型部署的关键硬件。近期，H100 作为基础设施支撑了多项突破性进展。Google 发布的 DiffusionGemma 模型，利用扩散方法并行生成文本，在 H100 上推理速度提升 4 倍，显著降低了延迟（原文标题）。同时，该模型为 26B MoE 架构，激活参数仅 3.8B，在 H100 上运行高效。（原文标题）此外，Cohere 推出了首个开源编程模型 North Mini Code，专为 Agent 编程设计，同样依赖 H100 进行训练和推理。（原文标题）在推理优化方面，新策略如“Move the Query, Not the Cache”尝试减少缓存开销，进一步发挥 H100 的多头潜在注意力（MLA）能力。（原文标题）当前焦点在于如何平衡 H100 的算力利用率与模型规模膨胀之间的关系。未来观察点包括：H100 在边缘端部署的可能性，以及下一代 GPU（如 B100）的竞争影响。