原则
反向传播
反向传播的本质,是把输出层的误差信号按连接权重与局部敏感度分配回前面各层。
原则释读
很多人把反向传播当成神经网络里最难的一座山,其实它首先是一种责任分配机制:输出错了,哪些连接更该负责,权重该往哪个方向微调。只不过这个分配过程需要借助链式法则和局部梯度来精确完成。
为什么重要
不抓住这条机制,后面的梯度、导数和更新公式都会显得像凭空掉下来的符号拼图。
怎么用到自己的学习/工程系统
看反向传播时,先盯误差从哪里来,经过哪些权重,被谁接住。
行动规则
- 误差需要逆向分配。
- 每层更新都依赖局部梯度。
- 链式法则是在串联敏感度。
常见误区
- 只背公式,不追信号流。
- 看不到局部梯度和整体误差的关系。
辨析题
反向传播最应该先被理解成什么?
它首先是一套把最终错误按结构分摊回各层连接的机制,然后才是一串公式。