Transformer
Transformer 是 2017 年 Google 提出的神经网络架构,用自注意力机制并行处理序列,是几乎所有现代大语言模型的基础结构。
论文《Attention Is All You Need》摒弃了循环网络,让训练可以大规模并行,直接促成了 GPT 系列的出现。当前的改进方向包括稀疏注意力、线性注意力与 MoE 等变体,目标都是降低长序列的计算成本。
相关词条
Transformer 是 2017 年 Google 提出的神经网络架构,用自注意力机制并行处理序列,是几乎所有现代大语言模型的基础结构。
论文《Attention Is All You Need》摒弃了循环网络,让训练可以大规模并行,直接促成了 GPT 系列的出现。当前的改进方向包括稀疏注意力、线性注意力与 MoE 等变体,目标都是降低长序列的计算成本。