斯坦福 CS 312「Deep Learning Alchemy」秋季新课发布，作业与测验全部公开

meng shao· @shao__meng · X·2026-10-14 09:55· 1 小时前AI 评分68

AI 导读

斯坦福大学推出 CS 312「Deep Learning Alchemy」秋季新课，由 @tatsu_hashimoto 和 @kothasuhas 主讲，定位为 CS 336（从零构建语言模型）的续作，目标是教学生理解模型行为。

正文

斯坦福大学 CS 312「Deep Learning Alchemy」秋季新课

@tatsu_hashimoto 和 @kothasuhas 两位老师主讲，主要面向一个常见问题：深度学习的核心知识大多是经验性的，理论解释不了，读论文也替代不了动手。

课程把两个信条作为支点：炼金术要靠手学；预测即理解：能在跑实验前准确预判结果，才算掌握。

课程地址：
https://deep-learning-alchemy.github.io/

课程安排主线
七个单元：超参调优与 scaling laws → 优化器与超参不变量（NQM、μP、Muon、权重衰减）→ 损失景观 → 训练稳定性 → 架构容量 → 数据高效的泛化（切换到 DNA 模态）→ 未公开单元。阅读清单就是实证深度学习的地图，多位作者（μP、Muon、权重衰减系列）就在团队中。

作业代码、测验、讲义全部公开，课程录像由 @StanfordOnline 发布，自学者可用 Modal 租卡完整复现。可视为 CS 336（从零构建 LM）的续作：那门课教造模型，这门课教理解模型行为。

引用Tatsunori Hashimoto@tatsu_hashimoto

深度学习往往被当作一套经过净化的知识与数学来教授。但 AI 前沿的工作是混乱而经验性的。我们的新课程 Deep Learning Alchemy，旨在以《从零构建语言模型》那种动手实践的精神，教授深度学习的艺术与科学。学生通过在小语言模型上做实验来建立直觉，再通过预测测验来检验：给定一段没见过的代码 diff，你能预测会发生什么吗？ https://deep-learning-alchemy.github.io/ 我的联合授课老师 @kothasuhas 和我认为，对把学生当作认真的学习者、希望根据他们所学来评估的课程，有显著的需求，因此我们在这门课上尝试了一种新的重考试方式（7 次考试，占成绩的 85%，其余 15% 为线下讨论评估）。我们设计这门课时，让学生可以使用 AI agent 来跑实验、做作业，但他们随后必须在无法访问作业的情况下在考试中证明自己掌握了这些内容，而考试中的任何部分分数都必须通过引用作业来获得，从而激励他们了解自己报告里写了什么。同样的作业和测验对所有人公开，任何人都可以尝试（课程录像将通过 @StanfordOnline 延迟发布）。我们有一些非常有趣的作业和测验，既涵盖经典主题（如 NQM、运行间随机性、scaling laws），也涵盖像 muP 或 hyperball 这样新近且应时的主题。由一些真正的专家制作，比如 @TristanThrush 和 @wen_kaiyue 试试下面的测验吧！

在 X 查看被引用的帖子

来源：meng shao · x.com