#SwiGLU

共 2 条 · 7 天 0 条 · 30 天 0 条

信息流里打上「SwiGLU」标签的资讯、产品与论文，按刊登时间排，新的在上。

6月17日

现代神经网络架构中的守恒定律统一框架

想知道GELU、多头注意力这些架构背后为什么有隐式偏好？这篇论文给出了严格的理论解释。

#GELU #SiLU #SwiGLU #Mixture-of-Experts

arXiv cs.LG@Viet-Hoang Tran 等 6 人原文

技巧 Agent 与开发者官方一手精选71°08:07

用xFormers构建内存高效Transformer：Packed Sequences、GQA、ALiBi、SwiGLU和因果注意力教程

手把手教你用xFormers做内存优化，打包序列、GQA、ALiBi、SwiGLU全都有，比标准实现省显存还快。

#xFormers #Packed sequences #GQA #ALiBi

官方一手marktechpost@Sana Hassan原文