由預測到參數更新
神經網絡可以有很多參數,但它的運算是一些簡單映射的組合。反向傳播有效地在這個組合上使用鏈鎖法則:先計算預測,再把損失對各中間量的敏感度向後傳遞。它給出目前參數的梯度,單靠它並不能保證梯度步會到達全域最小值,也不能保證預測器有良好的泛化能力。
定義 22.1.1
(帶平方損失的雙層網絡)
考慮單一觀測 及目標 。設 、、,並把活化函數 逐座標作用,定義
是隱藏層活化前的值, 是隱藏層輸出, 是純量預測, 是殘差。
對參數 微分時,觀測和目標都固定。前面的 會抵消平方微分得到的 。
梯度及證明
定理 22.1.2
(雙層網絡的反向傳播)
假設 在 的每個座標均可微。令 和 ,則
最後一個梯度與 同為 矩陣;包括 的情況,公式在指定的參數點成立。
證明
(把微小變動向後追蹤)
損失的微分為 ,而預測的變動滿足
這裏同時考慮所有參數的變動。把後兩式代入第一式,得 ,因此
最後一項等於 。因此每個獨立參數變動的係數,正是上面所列的偏導數: 的係數是 ,即 的 元素。這是多變量鏈鎖法則的精確結果,並非近似。
證明透視
每個假設在反向傳遞中的位置
的可微性只在一處用到,即 這一環,而且只需在目前的活化前值可微;對 在其他點的性質沒有任何要求。其餘各環都是線性或二次映射,處處可微。關鍵一步是把公共量 從所有經過第 個單元的路徑中提出來:它在偏置梯度出現一次,又乘以 出現在第 行的每個權重。只計算一次 並重複使用,正是反向傳遞省時的原因。證明最後讀出係數;這一步之所以成立,是因為 、、、 的各個分量是互相獨立的變量。若某參數在兩處共用,便要先把它各次出現的係數相加,才能讀出它的導數。
記錄損失對每個活化前的值的敏感度,而不是直接記錄對每個權重的敏感度。一個隱藏單元受其所在行的每個權重影響;輸入座標 把該敏感度轉成權重導數 。若另一個架構共用某個參數,便須把該參數影響損失的所有路徑貢獻相加。
訓練通常最小化多個觀測的平均損失,而不是單一損失,所以還需要平均值的梯度。
推論 22.1.3
(經驗平均的梯度)
設 是 個觀測的損失,各自在參數點 可微。則 在 可微,並且
證明
(導數的線性性)
有限個在 可微的函數之和仍在 可微,而 的導數是 。取 即可。每個 都由上述定理計算,只是把 換成第 個觀測,參數不變。
完整數值計算
例題 22.1.4
(兩個隱藏單元)
取 、、、、、 及 。則 、、、,故 。由於 ,
例如,只把 增加微小的 ,其他量不變,損失的變動為 。學習率為 的梯度下降步會把此項改為 ;梯度下降公式中的負號不可遺漏。
例題 22.1.5
(一個關閉了的 ReLU 單元)
設 、、、、、、。則 。兩個座標都不是 ,所以 ReLU 在兩處都可微,。接著 、、、。因此
的整個第二行,以及 與 的導數都是零:對這個觀測,第二個單元沒有啟動,其輸入權重的微小變動仍使 為負、。所以梯度步不會改變這個單元,儘管它的參數並非在任何意義下最優。
例題 22.1.6
(對兩個觀測取平均)
取 、、、,於是 ,只變動 。數據為 和 ,目前權重 。
第一個觀測有 、,故 :已經擬合好的觀測沒有貢獻。第二個觀測有 、,故 。由推論得 。
直接驗證:,所以 ,在 等於 。
使用法則時要留意
反例模式
轉折點沒有普通導數
考慮純量網絡 、目標 及 。在 ,左導數為 ,右導數為 ,所以 在該點沒有普通導數。實作為 ReLU 在零點指定一個導數值,是一項慣例,並不能證明經典梯度存在。離開零點,則可正常使用鏈鎖法則。
梯度為零也不代表全域最優。取 、 及 ,在 兩個偏導數均為零,但損失為 ;在 損失為零。即使沒有非線性活化函數,這個雙參數例子也顯示訓練目標可能非凸。
常見錯誤
(把權重梯度轉置了)
寫成 會得到 矩陣;除非 ,它根本不能從 中減去,而即使 ,元素也是錯的。 的係數是 :行指標屬於隱藏單元,列指標屬於輸入座標,所以梯度是 。
常見錯誤
(在輸出處計算活化函數的導數)
中的因子是 ,即在活化前值的導數,而不是 。在第一個例子中 ,錯誤的 會把 加倍。對 ReLU 而言,當 時兩者恰好相同;當 時,若按常用慣例取 ,兩者也相同,所以這個錯誤要到換用其他活化函數時才會暴露。
練習與解答
快速檢查
(在「兩個隱藏單元」例子中,求 的導數並解釋其正負號。)
用 ,並追蹤一個微小增加的影響。
解答 · 答案
導數是 。該權重略為增加時, 增加,於是 增加;因輸出權重 為負, 減少;而殘差 本已為負,所以 變大。故損失的一階變動為正。
快速檢查
(設 、、、、、、。求四個純量參數的導數。)
先計算 、、 和 。
解答 · 答案
、、、。故 、、、。
快速檢查
(在一般網絡中,若 ,對這個固定觀測而言,損失是否必定與 的整個第 列無關?)
看看 的哪些元素進入 。
解答 · 答案
是。 不含該列的貢獻;在損失可微處,該列導數 均為零。這不代表包含其他觀測的數據集也與該列無關,因為其他觀測的第 個座標可以非零。
快速檢查
(對「取平均」例子中的兩個觀測,平均損失的梯度在哪個 為零?)
利用驗證時得到的 。
解答 · 答案
,在 為零。由於 是 的凸二次函數,這個駐點是全域最小點;證明最優的是凸性,而不是單憑梯度為零。