原则
用微积分抓住梯度直觉
神经网络需要的不是抽象数学崇拜,而是理解局部变化率如何指挥参数更新。
原则释读
附录 A 最想给你的,其实就是变化率这个词背后的动作感。只要你知道斜率在衡量什么、导数在回答什么,后面那些看似复杂的梯度更新就不再无从下手。
为什么重要
它让数学从心理障碍变成训练过程的解释工具。
怎么用到自己的学习/工程系统
每次看到导数,都先用白话写一句:这里在问哪个量轻轻变化时,另一个量会怎样变。
行动规则
- 先理解局部变化。
- 梯度是在度量敏感度。
- 导数的价值在于给更新提供方向。
常见误区
- 见到导数就切断理解。
- 把微积分当成与训练公式无关的附赠内容。
辨析题
为什么作者要把微积分重新讲成斜率和变化率?
因为只有这样,梯度才会从恐怖符号重新变成参数更新所需的直觉工具。