08:07
marktechpost@Sana Hassan
marktechpost@Sana Hassan精选71°
推荐理由：手把手教你用xFormers做内存优化，打包序列、GQA、ALiBi、SwiGLU全都有，比标准实现省显存还快。
精选
过去 24 小时，从 823 条中筛出 50 条
6月17日
08:07
本文通过xFormers实现GPU上内存高效的Transformer模型。对比标准注意力实现，验证了内存高效注意力在不同序列长度下的速度和内存表现。教程涵盖因果掩码、打包变长序列（packed sequences）、分组查询注意力（GQA）以及自定义ALiBi偏置。最后将上述技术结合SwiGLU层和自动混合精度训练，构建了一个可训练的GPT风格模型。
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
6月1日
00:09
AITOP6月1日 00:09
