Stanford CS 312 'Deep Learning Alchemy' course materials released
For anyone interested in the practical, experimental side of deep learning, this course provides a rare, hands-on approach to the field, moving beyond theoretical concepts.
Stanford University's 2026 fall CS 312 course, 'Deep Learning Alchemy', is now open. Taught by Tatsunori Hashimoto and Suhas Kotha, it focuses on experimental methodology for deep learning. The course challenges textbook models like bias-variance tradeoff, arguing they are outdated in the scaling era. It emphasizes hands-on experimentation and prediction as the core of understanding, with a curriculum covering topics from hyperparameter tuning to architecture design.
斯坦福大学 2026 秋季课程 CS 312「Deep Learning Alchemy」，课程资料和视频会全部公开！ 课程由 Tatsunori Hashimoto @tatsu_hashimoto 和 Suhas Kotha @kothasuhas 主讲，它是深度学习“实验方法论”课，现有课程体系里几乎无人系统教授：如何设计、运行、并预判深度学习实验。 Stanford CS 312: Deep Learning Alchemy deep-learning-alchemy.github.io # 课程设计的核心主张 "Alchemy is learned by hand"（炼金术只能亲手学会）。 课程直言：许多教科书教给你的心智模型缺乏实证支持；它点名了经典的偏差-方差权衡，指出这类理论在今天的 scaling 时代已经失效。深度学习尚未形成成熟理论，仅靠数学功底不足以发明下一代架构。结论是：没有替代方案，只能大量亲手做实验，在“计算上可行的实验域”里积累真实的经验直觉。 "Prediction is understanding"（能预测才算理解）。 这是全课最鲜明的观点。它把“理解”操作化地定义为：在实验跑出来之前，能准确预测它的结果。这直接体现在课程考核方式上。这个理念与近年来“深度学习的科学化”（将 DL 作为实验科学来研究）的思潮一脉相承。 # 课程大纲：一条清晰的主线 七个单元，前四个在小规模语言模型预训练上展开（课程强调其能反映更大规模的现象），后三个转向 DNA 领域（近期深度学习最重要的新兴应用域之一）： 1. Basics — 超参数调优与 scaling 2. Optimization 1 — 超参数不变性（如最优学习率对其他超参数的鲁棒性） 3. Optimization 2 — 尖锐与平坦盆地（loss landscape 与泛化的关系） 4. Architecture 1 — 扩展模型容量 5. Architecture 2 — 深度/时间上的稳定性 6. Generalization — 数据高效算法 7. Exotic — 内容保密（“？？？”） 这条线串起了现代深度学习实践中最硬核的几个经验性议题（scaling law、学习率迁移、loss landscape 几何、架构消融、泛化）全部以“亲手实验 + 预测检验”的方式教。 💬 0 🔄 0 ❤️ 0 👀 147 ⚡
- Stanford AI Lab09-13 01:16原文
