开源课程 AI Engineering from Scratch：20 阶段手写算法学 AI 工程
59.8K 星的开源课程，不调 API，从线性代数手写到 DeepSeek-V3 架构和多智能体，学完还能攒下 523 个作品，特别适合想搞懂底层原理的人。
开源项目 AI Engineering from Scratch 在 GitHub 获得 59.8K 星，共 20 个阶段、以 Python 为主，主张在用任何框架之前先用纯数学手写算法。课程采用 Motto → Problem → Concept → Build It → Use It → Ship It 六段结构，例如 Phase 10 的分词器一课从词级、字符级到 BPE 子词切分讲演化逻辑，并包含 DeepSeek-V3 架构走读、Native Sparse Attention、speculative decoding 等论文级主题。每节课产出一个可复用 artifact（prompt、skill、agent 或 MCP server），全部学完累计 523 个作品。项目还提供六卷本 EPUB/PDF 书籍、可装入 Claude Code 的 Agent 导师模式，以及覆盖 Anthropic Claude 认证等 5 条备考路径、505 道练习题，支持包括中文在内的 12 种语言。
[开源学习资源] AI Engineering from Scratch 59.8K ⭐️ 作者 @ghumare64 课程共 20 个阶段，以 Python 为主要编程语言，主张在导入任何框架之前，先用纯数学把每个算法手写一遍。 课程地址： aiengineeringfromscratch.com/index.html 开源地址： github.com/rohitg00/ai-en… 它和常见教程的本质区别 ？ 大多数 AI 教程是“API 驱动”的：装个库、调个接口、跑个 demo。这个项目反其道而行，每节课遵循固定的六段结构： Motto → Problem → Concept → Build It → Use It → Ship It 以 Phase 10 的一节课「Tokenizers: BPE, WordPiece, SentencePiece」 为例，这个格式是真实落地的，而且写作质量相当高： · Problem 部分不讲废话，直接从代价切入：“你的 LLM 不读英语，它读整数。分词器决定这些整数是承载意义还是浪费意义”，然后解释为什么 tokenization 不是预处理，它是架构的一部分（影响上下文窗口利用率、API 计费、推理速度）。 · Concept 部分用“三种失败的方案和一种胜出的方案”来讲演化逻辑：词级切分（词表爆炸、[UNK] 问题）→ 字符级切分（序列过长）→ 子词切分（BPE 的折中），并配上真实语料上 BPE 逐步合并的手工演算。 每节约 3000+ 词，带 Mermaid 图、可运行代码和测试。 另外两个设计值得强调： · 每节课产出一个可复用的 artifact，一个 prompt、一个 skill、一个 agent 或一个 MCP server。学完整个课程，你手里有 523 个可展示的作品，不是 523 个跑完就扔的 notebook。 · 强调“证据留存”：保留命令、退出码、输出，作为学习发生的证明。这明显吸收了工程实践中“可验证性”的思路。 # 课程结构：从线性代数到自主智能体集群 20 个阶段构成一条完整的上升曲线，咱们它分成五个大块来看： 基础层（Phase 0–2）：环境与工具链、数学基础（线性代数/概率/微积分）、经典机器学习。这是给基础不牢的读者铺的路。 深度学习与感知层（Phase 3–6）：神经网络核心、计算机视觉（一路讲到 NeRF、高斯泼溅、世界模型，这已经超出一般教程的覆盖范围）、NLP、语音。 生成与决策层（Phase 7–9）：Transformer 深挖、生成式 AI（GAN、扩散模型、flow matching）、强化学习。 LLM 层（Phase 10–12）：这是全课程的重心之一。Phase 10 的目录我逐条看过，它不只是“从零实现 GPT”这种常规内容，还包含了相当前沿的论文级主题：DeepSeek-V3 架构走读、DualPipe 并行策略、Native Sparse Attention（NSA）、多 token 预测、Jamba 的 SSM-Transformer 混合架构、 speculative decoding 等。Phase 11 转向应用侧（RAG、LoRA、MCP、可观测性），Phase 12 覆盖多模态（从 CLIP 到 computer-use agent）。 智能体层（Phase 13–16）：工具与协议（MCP、A2A、Agent Skills）、54 节课的 agent 工程、自主系统与安全、多智能体集群。这一层的分量很能说明项目的判断：它认为 AI 工程的重心正在从“训模型”转向“构建可靠协作的智能体”。 收尾（Phase 17–19）：生产基础设施、伦理与对齐、毕业设计。 # 生态与周边：不只是一个课程仓库 网站：带浏览器本地存储的学习进度追踪、术语表、课程目录和路线图。 六卷本书籍：课程内容由 CI（pandoc）自动构建成 EPUB/PDF，附在 GitHub Releases 上，课程即书，且随仓库持续更新。 Agent 导师模式：运行 npx skills add rohitg00/ai-engineering-from-scratch，可以把整个课程装进 Claude Code、Codex 等编码智能体，变成一个带分级测验（placement quiz）和个性化路径的交互式导师，学习进度写在 LEARNING.md 里。这是“用你正在学的工具来学”的巧妙闭环。 认证备考：5 条备考路径、67 节课、505 道练习题，覆盖 Anthropic 的 Claude 认证和 Agentic AI Foundation 的 MCPA。项目明确声明与这些考试机构无关联，只是独立的备考材料。 12 种语言的翻译（含中文），以及四条核心学习路径（构建与部署 AI 应用、软件工程基础、Agent 辅助工程、产品判断与交付）供不同目标的人选路。 💬 3 🔄 0 ❤️ 6 👀 542 📊 5 ⚡
