08:07
marktechpost@Sana Hassan
marktechpost@Sana Hassan精选71°
推荐理由：手把手教你用xFormers做内存优化，打包序列、GQA、ALiBi、SwiGLU全都有，比标准实现省显存还快。
全部 AI 动态
AI 相关资讯全量信息流
6月17日
08:07
本文通过xFormers实现GPU上内存高效的Transformer模型。对比标准注意力实现，验证了内存高效注意力在不同序列长度下的速度和内存表现。教程涵盖因果掩码、打包变长序列（packed sequences）、分组查询注意力（GQA）以及自定义ALiBi偏置。最后将上述技术结合SwiGLU层和自动混合精度训练，构建了一个可训练的GPT风格模型。
6月16日
20:46
AITOP6月16日 20:46
09:17
09:17IT之家（博客/媒体）
精选
推荐理由：AMD买了家让内存更省钱的公司，用闪存代替部分DRAM，对数据中心AI负载很实用。
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
6月3日
11:09
11:09IT之家（博客/媒体）
精选72°
推荐理由：微软为 RTX Spark 深度优化 Win11 底层，解决了 AI 工作负载在 Arm 平台上的调度和内存瓶颈，做本地大模型部署或 AI 智能体开发的团队可以直接受益，值得关注。