08:07
marktechpost@Sana Hassan
marktechpost@Sana Hassan精选71°
推荐理由：手把手教你用xFormers做内存优化，打包序列、GQA、ALiBi、SwiGLU全都有，比标准实现省显存还快。
全部 AI 动态
AI 相关资讯全量信息流
6月17日
08:07
本文通过xFormers实现GPU上内存高效的Transformer模型。对比标准注意力实现，验证了内存高效注意力在不同序列长度下的速度和内存表现。教程涵盖因果掩码、打包变长序列（packed sequences）、分组查询注意力（GQA）以及自定义ALiBi偏置。最后将上述技术结合SwiGLU层和自动混合精度训练，构建了一个可训练的GPT风格模型。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07