Python神经网络编程
原则

反向传播

反向传播的本质,是把输出层的误差信号按连接权重与局部敏感度分配回前面各层。

原则释读

很多人把反向传播当成神经网络里最难的一座山,其实它首先是一种责任分配机制:输出错了,哪些连接更该负责,权重该往哪个方向微调。只不过这个分配过程需要借助链式法则和局部梯度来精确完成。

为什么重要

不抓住这条机制,后面的梯度、导数和更新公式都会显得像凭空掉下来的符号拼图。

怎么用到自己的学习/工程系统

看反向传播时,先盯误差从哪里来,经过哪些权重,被谁接住。

行动规则

  • 误差需要逆向分配。
  • 每层更新都依赖局部梯度。
  • 链式法则是在串联敏感度。

常见误区

  • 只背公式,不追信号流。
  • 看不到局部梯度和整体误差的关系。

辨析题

反向传播最应该先被理解成什么?

关联章节

关联图版