AITOP

NVIDIA Blackwell

共 6 条相关 AI 资讯
7月13日
11:16
11:16官方账号Together AI@togethercompute
精选
Together AI 展示了 ATLAS 系统与 NVIDIA Blackwell、CUDA、TensorRT-LLM、Dynamo 以及自定义内核的协同优化。这套组合拳从 API 底层加速推理过程，降低用户端延迟。项目由 @realDanFu 及其团队主导，旨在提升大规模模型部署的推理效率。
AI产品Together ATLASNVIDIA BlackwellTensorRT-LLM
事件专题
推荐理由：Together AI 把底层优化玩出花，ATLAS 加上 NVIDIA Blackwell 和一套 CUDA/TensorRT 工具，推理速度能快不少。搞部署的可以看看这套方案。
原文
7月2日
20:29
20:29官方账号vLLM@vllm_project
72°
Qwen3.6-27B-NVFP4模型在vLLM上可用，针对NVIDIA Blackwell GPU优化。该检查点将GPU内存需求降低约2.5倍。模型拥有27B参数，采用混合注意力机制。在MMLU Pro上得分86.3，GPQA Diamond上得分85.5。仅支持vLLM作为运行时引擎。
AI模型QwenvLLMNVIDIA Blackwell
事件专题
推荐理由：Qwen3.6-27B-NVFP4来了！在Blackwell上内存减半，MMLU Pro 86.3分，用vLLM就能跑，开源模型本地AI更省显存。
原文
6月26日
00:55
00:55官方一手AWS Machine Learning Blog@Andrea Gallo
精选
本文介绍如何在Amazon SageMaker AI上利用NVIDIA Blackwell架构优化训练配置。包括根据模型大小（1B到64B参数）选择合适精度格式，调整batch size和序列长度以利用Blackwell扩展内存，以及策略性应用激活检查点。通过P6-B200实例启动分布式训练，提供一套实用的训练调优框架。
技巧Amazon SageMaker AINVIDIA BlackwellP6-B200实例
事件专题
推荐理由：AWS发了篇实战教程，教你用NVIDIA Blackwell在SageMaker上调优训练，从选精度到调batch size都讲清了，搞大模型训练的人别错过。
原文
6月24日
15:30
15:30官方一手marktechpost@Asif Razzaq
76°
UC San Diego推出DFlash，用轻量级块扩散模型替代自回归起草器，实现投机解码。该方法通过单次前向传播生成整块token，并利用KV注入条件于目标隐藏特征。在Qwen3-8B上达到6.08倍无损加速，NVIDIA报告在Blackwell上固定交互性下吞吐量提升15倍。DFlash已发布20个检查点，支持SGLang、vLLM和TensorRT-LLM。
AI模型DFlashQwen3-8BNVIDIA Blackwell
事件专题
推荐理由：UC San Diego搞了个新方法DFlash，用扩散模型直接生成整段token，比自回归快几倍，Qwen3-8B上6倍加速，Blackwell上15倍，还开源了检查点，搞推理加速的可以看看。
原文
6月19日
18:38
5月22日
14:56