原则
训练纪律
学习率、输入缩放、轮次、网络规模和测试分离,共同决定训练是不是稳定而可信。
原则释读
训练从来不是把数据喂进去就行。输入范围太怪、学习率太猛、轮次太少或太多、测试集没分开,这些都会让结果失真。真正的神经网络训练,总带着一整套防自欺的纪律。
为什么重要
这是从玩具示例走向可靠实验的最低门槛。
怎么用到自己的学习/工程系统
调参时把输入缩放、学习率、轮次和测试表现放在同一张记录表里。
行动规则
- 训练集和测试集必须分开。
- 学习率决定你走得多猛。
- 数据缩放不是琐事,是稳定性的条件。
常见误区
- 只看训练准确率。
- 一出问题就盲目加层或加轮次。
辨析题
为什么很多看起来只是小细节的设置,会决定训练成败?
因为神经网络学习本身就是累积式微调,任何输入尺度和更新尺度失衡都会让整条链路失稳。
关联章节
前言 从可手写的神经网络开始
前言奠定了整本书的阅读姿态:先用最小可算的例子理解神经网络,再逐步上升到代码、数据集、可视化和实验扩展,而不是先堆满术语。
第2章 使用Python进行DIY
第 2 章从 Python 环境讲到神经网络类骨架,再落到 MNIST 数据集,为读者搭起第一条可执行实验链路。
第3章 趣味盎然
第 3 章是全书最像实验室的一章:自己造测试图、观察网络内部、做数据增强,并用性能曲线感受训练改进。
附录A 微积分简介
附录 A 用汽车速度和斜率这样的例子,把微积分从恐怖符号重新翻译成“变化率”和“局部斜率”的常识语言。
附录B 使用树莓派来工作
附录 B 把神经网络实验带到树莓派上,强调开源、低成本、可复制和资源受限环境中的训练取舍。