11:42
官方一手arXiv: DeepSeek@Changzheng Ma
精选73°
推荐理由：这篇论文解释了为什么Megatron-Core的MLA吸收模式在训练时会导致内存暴增，还给出了一个叫LAGA的修复方法，通信更省，速度和内存几乎没损失。
序列并行
共 1 条相关 AI 资讯
7月21日
11:42
论文揭示Megatron-Core中MLA吸收模式被禁止训练的原因：在DeepSeek-V3规模（n_h=128, seq=16384, SP=8）下，其激活内存比显式形式膨胀20-34%，最高达9.2 GB（eager kernel）或19.2 GB（fused kernel）。该限制在A100上交叉验证，原因在于中间变量维度为n_h×d_kv而非每头K/V。论文提出LAGA方法，在8x Ascend 910B上保持吸收模式的潜变量通信，但本地重建每头K/V：通信削减1.98倍，内存仅增加0.5%，SP=1时位精确，SP=2-8时误差≤1e-3，注意力块吞吐提升1.04-1.06x（单节点）和1.07-1.24x（跨节点）。