10:35
官方账号arXiv cs.LG@Simon Schug
推荐理由：这项研究用极简设计同时提升了Transformer的计算效率和可解释性，做模型压缩或可解释性研究的团队值得关注，尤其是对MoE稀疏化方向感兴趣的开发者可以看看。
稀疏门控
共 1 条相关 AI 资讯
6月8日
10:35
该研究提出了一种名为Sgatlin（稀疏门控线性神经元）的新型网络结构，通过将每个专家缩小为单个神经元并移除非线性激活函数，在保持稀疏性的同时提升了计算效率。在等计算量对比中，用Sgatlin替换Transformer的前馈层可改善语言模型的困惑度。此外，稀疏性和线性结构使得模型更易解释，无需额外训练即可分析前馈电路，发现其形成语义聚类并参与事实回忆。这项工作为构建计算高效且可解释的Transformer前馈层提供了新思路。