09:38arXiv: Anthropic@Guruprakash J, Krithika L. B该综述将Transformer架构分为encoder-only、decoder-only、encoder-decoder、长上下文、置换基与生成对抗等变体,并涵盖2023年后指令微调、RLHF、DPO、MoE、RAG等进展。它梳理了OpenAI、Anthropic、Google、Meta、Mistral、DeepSeek等主流模型家族。在应用侧调研了医疗、金融、法律、教育等7个领域的部署。论文从参数规模与能耗的权衡、对齐方法、数据溯源及基准饱和四个维度评估模型。它还点名了值得关注的开放研究问题。论文Transformer语言模型综述架构比较模型评估10 个信源在谈推荐理由:想快速搞懂主流Transformer架构和各家模型?这篇综述帮你理清了架构分类和应用场景,还比较了参数和能耗,适合做调研入门。原文