00:55AWS Machine Learning Blog@Andrea Gallo精选本文介绍如何在Amazon SageMaker AI上利用NVIDIA Blackwell架构优化训练配置。包括根据模型大小(1B到64B参数)选择合适精度格式,调整batch size和序列长度以利用Blackwell扩展内存,以及策略性应用激活检查点。通过P6-B200实例启动分布式训练,提供一套实用的训练调优框架。技巧Amazon SageMaker AINVIDIA BlackwellP6-B200实例训练优化编程助手5 个信源在谈推荐理由:AWS发了篇实战教程,教你用NVIDIA Blackwell在SageMaker上调优训练,从选精度到调batch size都讲清了,搞大模型训练的人别错过。原文
15:30marktechpost@Asif Razzaq76°UC San Diego推出DFlash,用轻量级块扩散模型替代自回归起草器,实现投机解码。该方法通过单次前向传播生成整块token,并利用KV注入条件于目标隐藏特征。在Qwen3-8B上达到6.08倍无损加速,NVIDIA报告在Blackwell上固定交互性下吞吐量提升15倍。DFlash已发布20个检查点,支持SGLang、vLLM和TensorRT-LLM。AI模型DFlashQwen3-8BNVIDIA Blackwell投机解码推理加速8 个信源在谈推荐理由:UC San Diego搞了个新方法DFlash,用扩散模型直接生成整段token,比自回归快几倍,Qwen3-8B上6倍加速,Blackwell上15倍,还开源了检查点,搞推理加速的可以看看。原文