#FP4

共 3 条 · 7 天 0 条 · 30 天 0 条

Blackwell 1 Direct-P 1 FlashAttention-4 1 Nemotron-H 1 UE5M3 1 注意力计算 1 语言模型 1 量化训练 1

信息流里打上「FP4」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月4日

论文精选73°11:19

硬件感知的FP4 FlashAttention-4

NVIDIA研究团队推出Direct-P方法，解决了Blackwell FP4张量核心在注意力计算中的瓶颈问题。

#FlashAttention-4 #FP4 #Blackwell #Direct-P

arXiv cs.LG@Robert Hu原文

9月3日

论文精选73°11:51

UE5M3 FP4块缩放实现稳定语言模型预训练

NVIDIA提出新方法让FP4预训练更稳定，训练速度提升21.2%，模型性能全面超越现有方案。

#Nemotron-H #FP4 #UE5M3 #量化训练

arXiv cs.LG@Robert Hu 等 3 人原文

6月19日

UltraQuant：面向上下文密集型智能体的4位KV缓存压缩

长上下文智能体推理慢？UltraQuant把4位KV缓存做到实用，延迟降3倍多，吞吐涨1.6倍，值得看看。

#UltraQuant #FP4 #KV缓存 #AMD GPU

arXiv cs.LG@Inesh Chakrabarti 等 7 人原文