动机
多层网络由简单运算复合而成,但一个参数可沿多条路影响损失。隐值可供多个后续单元使用,同一权重也可在多处重用。只微分最显眼的一条路,会漏掉真正贡献。反向传播正是有系统地累积所有路径,并令共享工作只算一次。
要分开三件事:图计算的函数、当前参数的导数,以及使用导数的优化算法。梯度正确,不保证任意步长都下降;训练下降,也不证未见数据预测可靠。本节精确推导导数,再重算有限更新的前向值。
定义
定义 30.1.1
(计算图)
有限计算图是有拓扑次序的有向无环图。源节点是输入或参数,其余标量节点 是指定较早节点的可微函数 ;向量运算可逐分量理解。最后节点为标量损失 L,所有可微假设都在实际取值处使用。ReLU 在零没有普通导数,软件于该点的惯例定义了更新规则,不是证明古典可微。
定义 30.1.2
(前向传递与伴随量)
前向依拓扑序计值,保留局部导数所需数据。伴随量 指在中间值边界独立扰动 时,最终损失的导数;边界前已算出的其他量固定。由 反向累积:
总和按自变量出现计数;同一父值用两次,两个偏导贡献都要加。共享参数用同一源节点表示,收到所有子节点贡献;若另建独立副本而不合梯度,便已改模型。
定义 30.1.3
(Softmax 与交叉熵)
对有限 logits ,。固定目标分布 q 非负且总和一,类别标记可用 one-hot。交叉熵用自然对数:
有限 logits 给正概率;改对数底会缩放导数。
定义 30.1.4
(同步梯度更新)
步长 的梯度下降,所有参数都用同一组旧参数算梯度后同步更新。先改一个权重再把新值放进另一个导数,则是另一算法。
定理/命题
定理 30.1.5
(反向累积就是完整链式法则)
有限无环、节点可微的图上,反向累积精确算出 L 对每个源参数的导数。每条局部边在子伴随量已备妥后处理一次,工作量与图内局部微分工作成正比,而非与可能指数多的源到损失路径数成正比。
定理 30.1.6
(softmax 交叉熵的导数与曲率)
有限 logits 及固定目标分布下,
Hessian 半正定,所以损失对 logits 凸。全体 logits 加同一常数,不改概率与损失。但这不代表它对多层网络全部参数都凸。
证明思路
证明
(由全微分反向代入)
局部微分是 。从 开始,按反拓扑序代入。消去某节点的微分前,其所有子节点已处理,所以所有含它的项均已出现;收集系数正是伴随量总和。最后只剩源微分,按全微分定义,其系数就是导数,包含分支与共享参数。另一看法是每条有向路径贡献局部导数的乘积,所有路径相加;有限无环令此为有限和,反向法只是提取共同后缀,没有换掉所求函数。
证明透视
分支为何相加
一个值供两个子节点时,扰动它会同时改变两者,其后续影响在全微分中相加。把两支相乘既不是沿一条路的链式法则,也不是不同路径的总效应。乘法沿路,加法合路;没有通往损失的节点伴随量为零。
证明
(对 log-sum-exp 求导)
log-sum-exp 对 的导数是 ,故梯度为 。再微分得 。任意向量 a 的 Hessian 二次型是 ,即以 p 取值 的方差,非负。全一向量二次型为零,吻合共同平移不变;梯度总和也因 p,q 总和同为一而为零。
凸性不保证有限最小点存在。至少两类的 one-hot 目标,在有限 logits 下正类概率小于一,损失严格正;把正类 logit 拉得远高于其余,损失趋零却不取到。因此小梯度可以伴随正类与其余 logits 的差距无界增长,不是收敛到有限 logit 最优点的证明。加入正则化就改了目标。若 q 每项皆正,交叉熵等于 q 的熵加 KL 散度,后者由对数不等式非负,故最优 p 为 q;但 logits 仍可共同平移,网络参数也未必唯一。
数值上先减 ,再算 ,指数均不超一。这保留函数而避免巨大正指数,不能把和换成最大项。批次平均的梯度是各例梯度平均,因有限和可逐项微分;权重及总和或平均的选择都要保留,否则实际步长改变。每例隐激活可不同,但参数必是同一旧向量。
计算中所说的“独立扰动中间值”,是为了量度它之后的影响,不是永久切断它与前面参数的关系。先把下游影响收成伴随量,再通过局部导数传回上游,最后才得到参数总导数。若把中间值一直当独立源而不再传回,便少算了原模型的依赖。这个分界观点有助理解为何同一节点既要存储前向值,也要累积反向系数。
前向存储的值还指定了微分发生在哪个点。例如 tanh 的局部导数要用旧激活,乘输出权重也要用旧权重。若在反向过程边算边改参数,后来步骤便可能混合两个不同点的局部导数,不能再组成一个函数于同一点的全微分。同步更新的要求因此不是格式习惯,而是所声称算法的数学内容。
输入与参数同是图的源,但训练时两者角色不同。输入导数可用来分析敏感度;参数导数用来更新模型。计出输入梯度,不代表训练会改动已观察数据。反过来,若一个前处理步骤含可训练参数,就应把该步也放入图中,否则所报梯度只适用于前处理被固定的另一个模型。
损失的数值和分类决策也要分开。最大概率类别保持不变时,交叉熵仍可连续改善;一次很小的 logit 改变也可在同分附近改变预测类别。导数描述的是连续损失,而不是离散正确率的普通导数。评估时应各自记录两者,不能因梯度方向正确就声称每一步都提高分类正确率。
概念视角代数
伴随量就是左乘雅可比(Jacobi)矩阵的行向量
对分层的链式结构,设各层雅可比矩阵为 ,损失梯度就是行向量 。反向累加从左边开始相乘,每一步都是向量与矩阵的乘积;若各层宽度都是 ,每层大约需要 次乘法。若改为先从右边把雅可比矩阵连乘起来,每层大约需要 次。伴随量 恰好就是这条不断更新的行向量;两种描述得到同一个梯度,区别只在乘法的次序。
例题详解
例题 30.1.7
(共享中间值的两条贡献)
给 。两支合成 ,所以 w 梯度为 14。步长 得 ,新损失 。直接展开 ,在一处导数也是 14,独立核对共享图。
例题 30.1.8
(完整两层分类更新)
,logits 为 ,目标第一类。初值 ,有 h 零、概率各半、损失 。按 梯度为 。同步步长 得 ,新首 logit 为 ,新损失精确为 。所有导数都用旧 v 与旧 h。
例题 30.1.9
(大 logits 用稳定代数)
logits 及目标第一类,先减 1000 得概率各半,不用计 。梯度 。若 logits 本身是参数,步长 得 ,差为 ,新损失 。共同偏移没有分类信息。
常见错误
反例模式
logit 凸损失可有非凸参数化
一个诱人的说法是:既然交叉熵对 logits 是凸的,参数损失的每个驻点都是全局最小点。正二元例子用 logits ,损失 。在原点两参数导数均零,但取 可严格降损失。对 logits 凸,不表示参数驻点最优,非线性参数映射已改曲面。
常见错误
(正确的梯度不等于有用的训练信号)
避免把极小 softmax 导数显式乘巨大倒数概率,但隐层仍可能削弱信号,例如饱和 tanh。共享权重贡献亦可抵消。正确导数不保证大而有用的梯度。
常见错误
(微分的不是实际使用的计算)
若目标本身依参数产生,对它也微分是另一目标,除非明订固定;截断概率再取对数也改函数,必须微分真正使用的计算。
总结
反向传播把链式法则按有限依赖图组织,分支与共享参数用加法。交叉熵给精确 及半正定 Hessian,稳定代数保留等式,同步更新保留指定梯度下降规则。参数化、初始化与泛化仍各有问题,不能由导数正确性代答。
练习
快速检查
(。反向及直接展开各求共享 w 梯度。)
在 处,再在 处应用伴随量规则,然后把进入 的两条路相加。
解答 · 答案
前向 。,w 直接路给六,经 a 路给十二,共十八。直接 也给十八,不能漏一条路。
快速检查
(三 logits 全零、目标第二类,求概率、损失、梯度及步长 更新,核对总和。)
logits 全相等时每个概率都是 ;再减去 one-hot 目标。
解答 · 答案
概率各 ,损失 ,梯度 ,更新 ,总和仍零,吻合共同平移不变。
快速检查
(两层例题改初值 ,求所有梯度,解释同一输入反复更新时隐部为何保持零。)
当 ,隐值为 ;检查哪些因子变成零。
解答 · 答案
梯度为 ,只有 c 改。只要 w,b,v 仍零,h 零令 v 梯度零,v 零令入层梯度零;归纳得隐部一直零,但输出偏置能学。这只关于指定初始化与数据,并非任何零参数都阻止学习。
快速检查
(,两梯度 ,求 J 梯度及从 以步长 更新。等权平均错在哪里?)
对加权和逐项求导。
解答 · 答案
梯度 ,新向量 。等权会得 ,是另一目标的导数;有限和线性保留原权重,不能擅换。