在 CPU 上从零构建并训练 25M 参数 LLM
Build and Train a 25M Parameter LLM from Scratch on Your CPU
freeCodeCamp 发布一小时视频教程，教你在笔记本或普通 CPU 上从零构建、预训练并微调一个 2500 万参数的语言模型。课程涵盖混合线性/稀疏注意力、MoE、绑定嵌入权重和多模态图像 patch 输入等现代 LLM 架构，并演示模型从随机字符生成逐步学会 Python 语法。后训练部分搭建轻量 RL 循环，让模型写代码、跑单元测试并获取奖励，任务成功率从 0% 提升到通过多数评测。
你不需要庞大的 GPU 集群就能了解现代前沿 AI 的工作原理。在 freeCodeCamp.org YouTube 频道的新视频中，你将直接在笔记本电脑或标准 CPU 上构建、预训练并微调一个可运行的 2500 万参数语言模型。
前沿实验室训练的是拥有数十亿参数的庞大系统，但其核心架构、数学原理和工作流程在根本上完全相同。将架构缩小到 2500 万参数，并采用紧凑的字节级词表，就免去了昂贵的云端算力成本，让训练循环能在你的 CPU 上于数秒内本地运行。这种快速迭代让你能实时直接观察数据课程、损失函数和奖励设计的变化如何改变模型行为。
以下是课程涵盖的一些内容：
现代 LLM 架构
了解前沿技术背后的工作原理，包括混合线性/稀疏注意力、混合专家（MoE）、绑定嵌入权重以及多模态图像块输入。从零开始预训练
观察模型如何从生成随机字符开始，借助交叉熵损失逐步学会 Python 语法和结构。使用强化学习（RL）进行后训练
构建一个轻量级 RL 循环，让模型编写代码、运行自动化单元测试并获得奖励——将其任务成功率从 0% 提升到通过大多数评估。AI 研究人员的实际工作方式
学习如何像现代研究者一样思考：提出可检验的假设、调整温度和奖励结构，并在多个随机种子下检查真正的统计显著性。
在 freeCodeCamp.org YouTube 频道 免费观看完整教程（时长 1 小时）。
免费学习编程。freeCodeCamp 的开源课程已帮助超过 40,000 人获得开发者工作。立即开始
来源：Hacker News · freecodecamp.org