技巧精选

《Hands-On Large Language Models》:近 300 张图讲透 LLM 原理与应用

精选理由

Alammar 那套图解 Transformer 的讲法出了本 12 章的书,近 300 张图,还专门讲多数 LLM 书不写的嵌入和 RAG,代码开源。

Jay Alammar 和 Maarten Grootendorst 的《Hands-On Large Language Models》全书包含近 300 张自制图,被作者称为 The Illustrated LLM Book。全书 12 章分为三段:第 1–3 章讲语言模型基础与 Transformer 内部结构,第 3 章是 Illustrated Transformer 的更新版;第 4、5、8、10、11 章覆盖文本分类、主题建模、语义搜索和 RAG、训练嵌入模型等内容;第 6、7、9、12 章讲提示工程、采样与结构化输出、多模态和微调生成模型。书评人 Nils Reimers 概括其特色为生成式、表示式、检索式三类应用,其中嵌入相关章节来自 Grootendorst 开发 BERTopic 的一手经验。代码已在 GitHub 开源,两位作者还在 DeepLearningAI 上推出了配套课程。

原文 · shao__meng

又来安利「Hands-On Large Language Models」 作者 @JayAlammar @MaartenGr 全书绘制了近 300 张自制图,对应理解概念和原理、架构非常有帮助,作者们叫它 "The Illustrated LLM Book"。 Alammar 的图解系列从 2018 年起就是很多人理解 Transformer、BERT、GPT 的入口,被斯坦福、MIT 等课程引用;这本书把那套「先给直觉和图,再给代码」的讲法系统化沉淀成了 12 章内容。 12 章可以分成三段,这个分法也呼应了 @Nils_Reimers 在书评里的概括,生成式、表示式、检索式三类应用: 理解模型(1–3 章):语言模型是什么、token 和嵌入怎么工作、Transformer 内部长什么样。第 3 章就是 Illustrated Transformer 的更新版。 表示与检索(4、5、8、10、11 章):文本分类、聚类与主题建模、语义搜索和 RAG、自己训练嵌入模型、微调 BERT 类表示模型。这是本书区别于其他 LLM 书的部分,大多数书聚焦生成,这条嵌入线来自 Grootendorst 做 BERTopic 的一手经验,讲的是「模型不生成文本、而是把文本变成向量」的那一半应用。 生成与微调(6、7、9、12 章):提示工程、高级生成技术(采样、结构化输出等)、多模态、微调生成模型。 Alammar 对第 3 章的图解: jalammar.github.io/illustrated-tr… 代码开源在这: github.com/handsOnLLM/Han… 两位作者还参加了一次 @DeepLearningAI 课程: deeplearning.ai/courses/how-tr… 💬 0 🔄 0 ❤️ 4 👀 471 📊 3 ⚡