结业考核
这是本书过程化考核的最后一环,由两部分组成:综合项目与结业测验。全部完成后,你应当能脱离任何 AI 工具独立用 PyTorch 实现经典神经网络,理解它们的历史脉络,并读懂、验证、改进 AI 生成的代码。
一、综合项目
从下面三个主题中任选一个,独立完成。也可以自拟同等难度的主题,但必须先按「验收标准」自评。
主题 A:经典架构复现与对比
- 选择本书第 3、5、6 章中的任意三种架构(如 LeNet-5、VGG 风格、ResNet 风格)。
- 用统一的数据管线(Fashion-MNIST,相同数据增强、优化器、epoch)训练三者。
- 报告:参数量、训练时间、训练/测试准确率,并解释差异(结合各架构的设计动机)。
- 附一段「为什么这个结果符合/不符合我的预期」的分析。
主题 B:序列模型:从 RNN 到 Transformer
- 在字符级语言模型任务上实现 RNN、LSTM 与一个 1 层 Transformer 解码器。
- 训练相同步数,报告 loss 曲线与生成文本质量。
- 比较三者的参数量、训练速度(每秒 step 数)。
- 结论部分必须解释:为什么 Transformer 在长序列上更有优势(可从注意力机制与梯度传播两个角度)。
主题 C:生成模型:GAN 与扩散模型小实验
- 用 MNIST 训练第 7 章的 GAN 与第 11 章的迷你 DDPM(可缩小到 16×16)。
- 各自训练完成后:统计生成样本的像素分布(均值/标准差),与真实分布对比。
- 报告两种方法的训练稳定性(D/G loss 或扩散 loss 曲线)与生成质量。
- 附一个「如果你要生成高分辨率图像,会选哪条路线,为什么」的讨论(参考第 11、12 章)。
统一验收标准(全部满足才算通过):
| 标准 | 说明 |
|---|---|
| 可运行 | 按 README 或注释说明可一键运行,无语法错误 |
| 有注释 | 关键函数有注释,说明「为什么」 |
| 有对照 | 至少对比两种配置/架构,数据来自真实运行 |
| 结构清晰 | 用函数/类组织代码,没有大段重复 |
| 结论诚实 | 结果不理想时给出解释,不粉饰 |
| 可复现 | 固定随机种子,记录关键超参数 |
二、结业测验
覆盖第 1~14 章知识点,共 15 题,答对 12 题(80%)以上视为通过。
- MP 神经元输出 1 的条件是?(第 1 章)
- A. 加权和大于 0
- B. 加权和达到阈值
- C. 输入全为 1
- D. 权重为正
- 感知机无法解决 XOR 的根本原因是?(第 1 章)
- A. 学习率太低
- B. XOR 线性不可分
- C. 数据太少
- D. 权重初始化差
- 反向传播使用的核心数学工具是?(第 2 章)
- A. 矩阵求逆
- B. 链式法则
- C. 泰勒展开
- D. 蒙特卡洛
- 卷积层参数量与下列哪项无关?(第 3 章)
- A. 核大小
- B. 输入/输出通道数
- C. 图片尺寸
- D. 偏置
- LSTM 相比 RNN 缓解的核心问题是?(第 4 章)
- A. 过拟合
- B. 梯度消失
- C. 参数太多
- D. 推理太慢
- VGG 用多个 3×3 卷积代替大卷积核,主要收益是?(第 5 章)
- A. 更少参数 + 更多非线性
- B. 更快推理
- C. 更好初始化
- D. 支持更大图片
- 残差连接
输出 = F(x) + x的核心作用是?(第 6 章)- A. 增加参数
- B. 让梯度直达浅层,缓解退化
- C. 数据增强
- D. 降低精度
- VAE 的重参数化技巧
z = μ + σ·ε解决了?(第 7 章)- A. 采样不可导
- B. 过拟合
- C. 显存不足
- D. 模式崩塌
- Seq2Seq 的信息瓶颈指?(第 8 章)
- A. 数据太少
- B. 全部信息被压缩进一个向量
- C. 显存不足
- D. 序列太短
- 自注意力中除以 √dₖ 的作用是?(第 9 章)
- A. 加速计算
- B. 防止 softmax 饱和
- C. 增加参数
- D. 正则化
- 缩放实验表明「数据不足时大模型」?(第 10 章)
- A. 更好
- B. 过拟合更严重
- C. 无差异
- D. 无法训练
- DDPM 反向过程学习预测?(第 11 章)
- A. 图片
- B. 噪声
- C. 类别
- D. 时间步
- ChatGPT 三部曲的最后一步是?(第 12 章)
- A. 预训练
- B. SFT
- C. RLHF
- D. 蒸馏
- LoRA 训练时冻结的是?(第 13 章)
- A. A、B 矩阵
- B. 原始权重 W
- C. 全部参数
- D. 偏置
- 自洽性多数投票依赖?(第 14 章)
- A. 温度 0
- B. 多样化的采样
- C. 更大数据集
- D. 更深的网络
三、结业评审
- 综合项目:对照验收标准逐条自评;如果可能,请另一位同学或老师运行你的程序。
- 结业测验:15 题答对 12 题以上。
- 两项都通过,即完成本书全部学习目标。
结业后的下一步
本书覆盖的是 1943—2026 年的经典神经网络。之后可以按兴趣深入:
- 框架进阶:PyTorch 官方教程、
torch.compile、分布式训练(FSDP / DeepSpeed) - 推理与对齐:RLHF / DPO / GRPO、思维链工程、模型评估
- 多模态:CLIP、Whisper、视觉-语言模型
- 系统与效率:量化、剪枝、LoRA 的工程化、长上下文技术
- 应用:RAG、智能体、微调部署(transformers、vLLM)
无论选哪个方向,记住本书的三条原则:按历史理解架构的动机,亲手实现每一个经典模型,并诚实验证每一段输出——包括 AI 写的。