线性分类器或线性回归只能产生输入的仿射函数作为分数,所以无法表示异或之类的模式。多层感知机(MLP)把若干仿射映射与固定的非线性函数复合起来,得到大得多的函数族,并以梯度下降训练。小批量随机梯度下降一节已提供训练循环;本节回答的是:深层复合中,损失对所有权重的梯度如何高效而精确地计算。答案就是反向传播,它不过是把链式法则整理成可复用中间量的形式。
网络与损失
定义 30.1.1
(前馈网络)
固定各层宽度 ,以及逐分量作用的激活函数 。对输入 ,对 定义
其中权重矩阵 ,偏置向量 。网络输出为 ;回归输出时,最后一层的激活常改为恒等函数。常见激活函数有 、逻辑 sigmoid 与整流函数 。对训练样本 与可微损失,例如 ,目标函数是 在各训练样本上的和。
具有这些宽度的网络,参数个数为 。一次前向传播所需的乘法次数,约与权重个数相同。
定理 30.1.2
(没有非线性,深度就没有用处)
若 是恒等函数,网络计算的是 的仿射函数,即对某矩阵 与向量 有 。特别地,没有这样的网络能表示 上的异或函数。
证明
(仿射映射的复合与中点论证)
仿射映射的复合仍是仿射的,所以 。若仿射标量函数 满足 且 ,则 ,因为对仿射的 ,中点处的值是两端点值的平均,而 与 有相同的中点 。这会得出 ,矛盾。
反向传播
定义 30.1.3
(误差信号)
第 层的误差信号是 ,即损失对预激活向量 的敏感度。
定理 30.1.4
(反向传播方程)
设 在出现的每个 处可微(对 ReLU,即不在 处)。则
而对参数的梯度为
其中 为逐分量乘积。先做前向传播,再对 使用这些公式,就得到 对全部参数的梯度,总成本与参数个数成正比。
证明
(沿各层使用链式法则)
输出 逐分量依赖 ,所以 。对 ,变量 只通过 影响 ,而 。由链式法则,
这就是所述的递推式。由于 ,而 只出现在 中,所以 ,。每个递推步与每条梯度公式,都是与相关权重矩阵同尺寸的矩阵向量积或外积,这就得到成本的结论。
证明透视
为什么只有下一层重要
这个证明有一个结构事实和一个计算。结构事实是: 只通过向量 影响 ,因为各层是前馈的;因此链式法则可以写成对 的 个分量求和,没有其他项。计算则是局部导数 ,因子 正是用到 可微的地方。递推向后进行,因为 需要 与已保存的 。每个 只算一次,既用于 与 ,也用于下一步;这种复用使成本与参数个数成正比,而不必为每个权重重复链式法则的因子。若网络有跳跃连接, 还会直接影响更后的层,递推式便会多出额外的项。
对于二元分类,输出层通常是单个 sigmoid 单元 ,以交叉熵损失 ()训练。此时 ,且 ,所以输出误差化简为 。sigmoid 的导数被约去,这是分类时偏好这个搭配而非平方误差的原因之一:当单元饱和而出错时,误差信号也不会消失。
前向传播必须保存每个 与 ,因为反向传播要复用它们。保存中间的 ,正是这个方法比逐个权重分别求导便宜的原因,后者会重复链式法则中的公共因子。训练目标对参数一般不是凸的;梯度下降到达的是驻点,而不保证是全局极小点。对 sigmoid,,所以递推式中的因子 会随深度以几何速度缩小信号,这就是梯度消失效应。
概念视角算法
反向传播即行向量乘以雅可比矩阵
损失是标量,所以 是行向量。递推式说明 :每次只把这个行向量乘以一层的雅可比矩阵(Jacobian matrix),即每层一次矩阵乘向量。若先把所有雅可比矩阵乘起来,就需要矩阵乘矩阵;从标量端开始安排乘法顺序,正是这个方法便宜的原因。
例题
例题 30.1.5
(双单元 ReLU 网络的精确梯度)
取输入 ,目标 ,一个含 ReLU 的隐藏层,参数为
输出为 ,损失为 。前向:,两者皆正,所以 ,。损失为 。
反向:输出误差为 ,所以 ,。隐藏层误差为 。因此
取步长 作一步梯度下降,得 、、、。此时 ,,损失为 ,由 下降。
例题 30.1.6
(计算异或的 ReLU 网络)
取 、,输出 。在四个输入处求值: 得 ; 与 得 ; 得 。所以这个网络精确表示异或,而任何仿射函数都做不到。第一层把四个输入映为 ,在这些坐标下两个类别变得线性可分。
例题 30.1.7
(交叉熵的输出误差,包括饱和且错误的输出)
取单个 sigmoid 输出单元 ,,,,目标 。此时 ,,损失为 。输出误差为 ,所以 ,。核对:,在 处 。
边界情形:保持 ,但令 ,即单元饱和而且错误。这时 。交叉熵给出 ,信号完全没有被削弱。若改用平方误差 ,误差信号是 ,约小了 倍。
常见错误与细节
反例模式
ReLU 在零点没有可反向传播的梯度
人们很容易以为,反向传播在每个参数值处都返回损失的梯度。取输入 、目标 、单个 ReLU 单元 ,损失为 。当 时 ,所以 ;当 时 ,所以 ,在 时趋向 。因此在 处的单侧导数是 与 ,导数并不存在。递推式返回 ,按照对 所取的约定,它是 或 。每个值都等于其中一个单侧导数,却都不是导数。定理的假设,即在出现的每个 处可微,正是在这里不成立。
常见错误
(导数在哪里求值)
因子 是在预激活值 处求值,而不是在激活值 处。对 sigmoid,可利用 写成 ;但对 ReLU,导数是 的指示函数,在 处必须事先约定。以反向传播算出的梯度,至少应对若干个参数用有限差分核对。
常见错误
(相同的初始权重无法区分隐藏单元)
若把所有权重初始化为相同,同一层的隐藏单元会得到完全相同的更新,永远无法分化,所以权重要随机初始化。
常见错误
(训练损失不等于测试表现)
训练损失小并不保证测试误差小。目标函数对参数也不是凸的,所以梯度下降到达的驻点不保证是全局极小点。
练习
快速检查
(某网络有一个 ReLU 隐藏单元与线性输出:。在 处求值。)
记住 。
解答 · 答案
时,,。 时,,。 时,,。
快速检查
(宽度为 的网络有多少个参数?)
每一层贡献一个权重矩阵和一个偏置向量。
解答 · 答案
。
快速检查
(设 ,,,,目标 ,损失为 。以 表示对 与 的精确梯度,并给出近似值。)
的导数是 。
解答 · 答案
,,。则 。对 , 的导数为 ,所以 。
快速检查
(设深层网络每个隐藏层都用 sigmoid。证明递推式中某条路径上 个激活导数因子的乘积,绝对值至多为 。)
先估计 的上界。
解答 · 答案
因为 ,而对 有 (和为 的两个数的乘积至多是 ),所以每个因子至多为 。 个这样的因子的乘积至多为 。路径上的权重可以抵消一部分,但除非权重很大,传到前面各层的信号都会很微弱。