09:41
官方账号arXiv cs.AI@Vladimir Fedosov, Aleksandr Sazhin, Artemiy Grinenko, Frank Woernle
推荐理由：Qwen3-8B长上下文微调显存不够？HGA方案在16GB卡上跑16384令牌，比密集训练省显存还快一点，代码正在路上。
HGA
共 1 条相关 AI 资讯
7月17日
09:41
研究者提出分层全局注意力（HGA），结合分段反向传播和分层KV存储，仅保留当前段在VRAM中可微分，历史KV卸载到RAM或NVMe。在Qwen3-8B上使用4位QLoRA，PG19数据集，16GB Quadro RTX 5000上HGA达到16384训练长度，峰值显存15.28GB，而密集训练仅支持2048令牌。相同适配器可处理131072令牌推理。2K训练长度下，HGA与密集训练困惑度分别为2.7405和2.7383 nat，基线模型为2.9541；HGA训练速度略快（217.75 vs 207.02 tokens/s）。