由预测到参数更新
神经网络可以有很多参数,但它的运算是一些简单映射的复合。反向传播高效地在这个复合上使用链式法则:先计算预测,再把损失对各中间量的敏感度向后传递。它给出当前参数处的梯度,单靠它并不能保证梯度步会到达全局最小值,也不能保证预测器有良好的泛化能力。
定义 22.1.1
(带平方损失的双层网络)
考虑单个观测 及目标 。设 、、,并把激活函数 逐坐标作用,定义
是隐藏层的激活前值, 是隐藏层输出, 是标量预测, 是残差。
对参数 求导时,观测和目标都固定。前面的 会抵消平方求导得到的 。
梯度及证明
定理 22.1.2
(双层网络的反向传播)
假设 在 的每个坐标处都可微。令 和 ,则
最后一个梯度与 同为 矩阵;包括 的情形,公式在指定的参数点成立。
证明
(把微小变动向后追踪)
损失的微分为 ,而预测的变动满足
这里同时考虑所有参数的变动。把后两式代入第一式,得 ,因此
最后一项等于 。因此每个独立参数变动的系数,正是上面所列的偏导数: 的系数是 ,即 的 元素。这是多元链式法则的精确结果,并非近似。
证明透视
每个假设在反向传递中的位置
的可微性只在一处用到,即 这一环,而且只要求在当前的激活前值处可微;对 在其他点的性质没有任何要求。其余各环都是线性或二次映射,处处可微。关键一步是把公共量 从所有经过第 个单元的路径中提出来:它在偏置梯度中出现一次,又乘以 出现在第 行的每个权重中。只计算一次 并重复使用,正是反向传递省时的原因。证明最后读出系数;这一步之所以成立,是因为 、、、 的各个分量是相互独立的变量。若某个参数在两处共享,就要先把它各次出现的系数相加,才能读出它的导数。
记录损失对每个激活前值的敏感度,而不是直接记录对每个权重的敏感度。一个隐藏单元受其所在行的每个权重影响;输入坐标 把该敏感度转成权重导数 。若另一种架构共享某个参数,就须把该参数影响损失的所有路径的贡献相加。
训练通常最小化多个观测的平均损失,而不是单个损失,所以还需要平均值的梯度。
推论 22.1.3
(经验平均的梯度)
设 是 个观测的损失,各自在参数点 处可微。则 在 处可微,并且
证明
(导数的线性性)
有限个在 处可微的函数之和仍在 处可微,而 的导数是 。取 即可。每个 都由上述定理计算,只是把 换成第 个观测,参数不变。
完整数值计算
例题 22.1.4
(两个隐藏单元)
取 、、、、、 及 。则 、、、,故 。由于 ,
例如,只把 增加微小的 ,其他量不变,损失的变动为 。学习率为 的梯度下降步会把此项改为 ;梯度下降公式中的负号不可遗漏。
例题 22.1.5
(一个关闭了的 ReLU 单元)
设 、、、、、、。则 。两个坐标都不是 ,所以 ReLU 在两处都可微,。接着 、、、。因此
的整个第二行,以及 与 的导数都是零:对这个观测,第二个单元没有激活,其输入权重的微小变动仍使 为负、。所以梯度步不会改变这个单元,尽管它的参数并非在任何意义下最优。
例题 22.1.6
(对两个观测取平均)
取 、、、,于是 ,只变动 。数据为 和 ,当前权重 。
第一个观测有 、,故 :已经拟合好的观测没有贡献。第二个观测有 、,故 。由推论得 。
直接验证:,所以 ,在 处等于 。
使用法则时要留意
反例模式
转折点没有普通导数
考虑标量网络 、目标 及 。在 处,左导数为 ,右导数为 ,所以 在该点没有普通导数。编程实现中为 ReLU 在零点指定一个导数值,只是一种约定,并不能证明经典梯度存在。离开零点,则可正常使用链式法则。
梯度为零也不代表全局最优。取 、 及 ,在 处两个偏导数均为零,但损失为 ;在 处损失为零。即使没有非线性激活函数,这个双参数例子也显示训练目标可能非凸。
常见错误
(把权重梯度转置了)
写成 会得到 矩阵;除非 ,它根本不能从 中减去,而即使 ,元素也是错的。 的系数是 :行指标属于隐藏单元,列指标属于输入坐标,所以梯度是 。
常见错误
(在输出处计算激活函数的导数)
中的因子是 ,即在激活前值处的导数,而不是 。在第一个例子中 ,错误的 会把 加倍。对 ReLU 而言,当 时两者恰好相同;当 时,若按常用约定取 ,两者也相同,所以这个错误要到换用其他激活函数时才会暴露。
练习与解答
快速检查
(在“两个隐藏单元”例子中,求 的导数并解释其正负号。)
用 ,并追踪一个微小增加的影响。
解答 · 答案
导数是 。该权重略为增加时, 增加,于是 增加;因输出权重 为负, 减少;而残差 本已为负,所以 变大。故损失的一阶变动为正。
快速检查
(设 、、、、、、。求四个标量参数的导数。)
先计算 、、 和 。
解答 · 答案
、、、。故 、、、。
快速检查
(在一般网络中,若 ,对这个固定观测而言,损失是否必定与 的整个第 列无关?)
看看 的哪些元素进入 。
解答 · 答案
是。 不含该列的贡献;在损失可微处,该列导数 均为零。这不代表包含其他观测的数据集也与该列无关,因为其他观测的第 个坐标可以非零。
快速检查
(对“取平均”例子中的两个观测,平均损失的梯度在哪个 处为零?)
利用验证时得到的 。
解答 · 答案
,在 处为零。由于 是 的凸二次函数,这个驻点是全局最小点;证明最优的是凸性,而不是单凭梯度为零。