动机
架构限制参数怎样连接运算。卷积在多个位置使用同一局部权重,递归模型在多个时刻使用同一转移参数。这减少参数,也作出数学承诺:不同位置或时刻重用一套模式,而非各自独立拟合。
只说某架构适合图像、另一个适合序列,不及问清算子保留哪些变换、状态留住什么,以及每次重用如何贡献梯度。具体应用须先展示输入、运算及输出。本节的有限循环滤波与标量递归只建立精确的算子性质,没有未经证据的性能比较或完整现代架构综览声称。
定义
定义 31.1.1
(循环格上的共享互相关算子)
一维信号有 个位置,索引模 。共享互相关为 , 有限,同一核与偏置用在各处。模索引明订循环边界。多通道形式是:
参数依输出、输入通道及偏移,不依位置;数目为 ,不是每位置各有一套。神经软件常把此未翻核互相关叫卷积,本节索引已固定意思。
定义 31.1.2
(平移、等变与不变)
平移 。算子等变指 ,标量统计不变则指值不改。等变保留特征移到哪里,不变移除位置信息。循环边界是精确定理条件;补零有限图在边缘未必同样成立。
定义 31.1.3
(有限标量递归模型)
标量递归模型固定与训练参数独立的 ,写:
输入序列有限且固定,函数在所用值可微。a,b,c,d 每时重用;未监督时的损失可设零。有限展开给无环图,不是在未解的代数循环上直接求导。
定理/命题
定理 31.1.4
(共享步幅一算子的等变性)
循环格上的共享步幅一互相关、空间恒定偏置与每处相同逐点激活,都与平移交换,复合仍等变。把等变通道的所有位置平均,得平移不变输出。下采样只保留与其采样格相容平移的对应等变性。
定理 31.1.5
(共享滤波与有限递归的梯度)
单通道收到伴随量 ,有
递归部分令 ,反向算
a,b,c,d 梯度依次为 、、、。全部使用同一旧参数。
概念视角代数
共享互相关就是循环矩阵
把输入写成 的向量。共享互相关就是乘以矩阵 ,其中 (索引模 ),其余元素为零,再加上常数向量 。 的元素只依赖 (模 ),这正是“每个位置使用同一个核”的说法。反过来,与每个平移交换的线性映射满足对所有 有 ,所以元素只依赖 ,它就是偏移取遍所有剩余类的共享互相关。对 、偏移 的滤波 , 的各行为 、、,所以 。
证明思路
证明
(平移与共享滤波交换)
平移后位置 i 响应是 ,正好等于原输出的 i-s。相同逐点函数保持等式,逐层应用便证复合。全局平均因平移只排列有限索引而不变。位置相关权重或偏置会破坏此重排,这解释共享与恒偏置的作用。
若 n 可被步幅 q 整除,,便有 ,但一像素平移未必对应任何粗格平移。必须说清架构保留哪一群变换,不能把有限子群的性质说成所有平移。
证明
(收集共享滤波的微分)
把 代入 ,收集同一核微分得首式;以 重索引得输入梯度;偏置收所有位置贡献。多通道只再加相应通道和。共享不等于平均,除非目标本身有平均因子。
证明
(沿时间的反向归纳)
递归的 直接经 影响损失,也经 影响未来,导数合为 ,再乘激活导数便得 。由末时倒推证各伴随量;收集共享参数的各时局部系数,得四个梯度和。
证明透视
一个参数有多个空间或时间用途
每次使用带来局部微分,但它们是同一参数扰动,所以系数必相加。把用途当独立权重,已扩大架构;只用最后时刻则漏路。有限展开使全部贡献可见,支持时间反向传播。
固定输入也是条件;若反馈 且激活为恒等,转移变成 ,敏感度由新系数控制,不再只是 a。忽略反馈路径就是微分另一张图;观察输入训练与生成输入运行可有不同轨迹。
固定输入下,长程初态敏感度精确为 。若沿轨迹 ,绝对值至多 ;乘积小于一时指数消失。恒等激活则正是 , 可放大。这是一个敏感度,不是所有损失梯度的统一结论,后者还有总和、输出因子及抵消。
共享性质可用零输入作简单检查。零信号经共享核与恒定偏置,所有位置输出相同,所以平移不会改结果。若每位置另有不同偏置,零输入虽在任何平移下相同,输出却是一列不相同的偏置;平移输出一般会改它,等变等式便立即失败。这说明偏置也属架构约束,不只核权重是否共享重要。
有限图像的边界策略同样是算子一部分。循环模型把相反两边相接,适合本定理的索引重排;补零模型则把外部当零,不同位置接触边界的方式不同。若应用只使用远离边界的内部位置,可以对那些位置另证局部平移关系,但不能把局部结论扩成全数组的无条件等变。选算子时先看任务的边界含义,再选方便的程序形式。
递归应用也要指定序列何时结束及何时重设状态。两个独立样本若共用上一个末态,第二个输出便依赖第一个样本,已不是各自从固定初态开始的模型。若刻意处理连续数据流,保留状态可以合理,但训练图与评估切分必须承认这个依赖。状态记忆不是免费且无条件正确的信息来源。
本节把初态固定,因此不更新它。若改成可训练初态,也能在展开图中把它当源,反向到第一步后还须把影响传回初态;那是新增的参数用途,而非原梯度公式中已自动包含的更新。实现应先列出哪些量固定、哪些量共享、哪些量可训练,再谈梯度是否完整。
例题详解
例题 31.1.6
(在所有位置训练同一核)
n 为三,,偏移零、一,核 ,偏置固定零,响应 。零目标及 下损失为三,伴随量等于 z,核梯度 。步长 得 ,新响应 ,损失 。每位置均有贡献,只取首位置是不同目标。
例题 31.1.7
(状态精确计算累积和)
恒等激活、,归纳得 ,输出就是累积和。固定大小状态保存和而非整段序列; 与 最终状态相同。若任务问第一个数,这个状态就不足。应用价值必相对所需统计量说明。
旁注
先画出展开后的图
对共享参数求导之前,先列出它被使用的每一处。这里 在两个时刻都出现,尽管在 时它乘的是 。梯度就是对这份清单求和。
例题 31.1.8
(精确递归训练一步)
恒等激活,输入 ,,参数 ,只用末损失 。有 ,。a,b,c,d 梯度为 。步长 得 ;重算 ,损失 。反向全用旧 a,再同步更新。
常见错误
反例模式
下采样破坏一像素等变
四位置输入只有索引零为一,取偶位置得 。先移一像素,一移到索引一,再下采样却得零向量;原 任何平移都不是零。因此步幅二不能自动继承任意一像素等变。
常见错误
(把等变或全局平均当作不变的答案)
全局平均移除位置,有助位置不重要的任务,却丢掉定位信息;等变也不自动给分类不变。找缺陷在哪里与只报有无缺陷,目标不同。
常见错误
(把截断或裁剪的梯度说成精确梯度)
截断时间反传漏掉跨边界路径,通常改了完整序列梯度;停止状态微分与裁剪梯度都可另订为算法,但不能冒充精确全图导数。
常见错误
(混淆参数数目与梯度大小)
参数数目与梯度大小不同:两系数核用一千次仍只有两参数,总损失却累积一千局部梯度;若损失改每位置平均,梯度也除相应数目。比较训练步长前须记清总和或平均。
tanh 值有界也不保证梯度不消失,饱和处导数小。共享只是建模限制,数据是否符合仍需任务证据。
因此,算子名称相同不代表数学函数相同,索引、边界、步幅与共享位置都应随实现一起记录。
总结
共享算子在明订边界与采样下有精确重用与对称。导数累积每次用途;递归有限展开后给明确反向敏感度及梯度和。完整小应用同时展示状态能算什么、失去什么,比架构名称更有说服力。
练习
练习 31.1.9
(对滤波例题,用定理求三个位置的输入梯度,核对它们的和为零,并解释这与每个输入同时加上常数的关系。)
核心
解答(3)
- 1
计算输入导数
核为 、偏移 ,伴随量为 。公式 给出 ,即 (模索引)。
- 2
核对总和
关键一步
各项之和为 。
依据: 循环差分沿圆环相加会逐项相消。
- 3
连到共同加常数
共同加上常数不改变每个差 ,所以损失在全一方向的方向导数为零。带号的各项与此不变性吻合。
练习 31.1.10
(证明在每个空间位置使用同一个 ReLU 会保留平移等变,即使在 ReLU 不可微的输入处也成立。这个证明需要任何梯度公式吗?)
基础证明
解答(3)
- 1
写出先移后激活的信号
令 , 为任意信号。则 。
- 2
与先激活后平移比较
关键一步
另一边 ,每个索引 的值都相同。
- 3
读出所用的假设
∎两边的函数值相等,所以 与平移交换。论证没有用到导数,因此在折点处同样成立。对称定理与梯度定理可有不同的假设;零处不可微并不使前者失效。
练习 31.1.11
(在没有输入及偏置的线性递归模型中,令 且 。求对 的导数,与对初态的导数比较,并解释两者为何是不同的量。)
核心
解答(3)
- 1
对共享参数求导
对正整数 ,,因为 被使用 次,每次使用贡献其余 个因子的乘积。
- 2
对初态求导
因 而 固定,所以 。
- 3
比较
前者加总扰动 所有用途的贡献,后者只扰动初始来源。当 ,前者对每个 都是 ,约定 ,在 也如此。多项式公式 从不需要除以 ; 且 时导数为零。
练习 31.1.12
(累积和模型收到 。求所有状态。若只用末态预测序列长度,这个固定状态总是足够吗?给出两个有限序列来否定这个说法。)
核心
解答(3)
- 1
计算各个状态
由 及 ,得 、、。
- 2
找出末态相同的两个序列
关键一步
序列 与 的末态同为 ,长度却分别是一和二。
- 3
作出结论
只看这个末态的预测器必须对两者给出相同答案,所以不能总是报告长度。增加计数坐标等额外状态会更换表示方式,可处理此任务。