♪この章の曲谷底はどこ?登山部
サビで覚えて、下の会話で回収
#1どの重みが悪かったの?

勾配降下法って、重みごとの勾配が必要なんだよね? 重みが何百万個もあったら、どうやって計算するの?

…そこが問題。結果がまちがったとき、どの重みにどれだけ責任があるのか。

…これを信用割当問題という。1960年代にミンスキーが論じた、学習の根っこの問題。

フラれたとき、原因がルナの顔か、性格か、LINEの量か…わからないのと同じね♡

…たぶん、LINEの量。

即答しないで!
#2出力から逆向きに、責任をたどる

…答えが誤差逆伝播法。出力層の誤差から出発して、入力側へ1層ずつ、勾配を逆向きに伝える。
- 1順伝播:入力から出力へ計算して、予測を出す
- 2誤差関数で、予測と正解のずれ(誤差)を計算する
- 3逆伝播:出力層から入力層へ向けて、各重みの勾配を連鎖律で計算する
- 4勾配降下法などで、すべての重みを更新する

後ろから順番に責任を追いかけていくんだ!

…1986年、ラメルハート、ヒントン、ウィリアムズのNature論文で広く知られるようになった。
#3カギは「連鎖律」

でも、なんで後ろから順に計算できるの?

…連鎖律。関数が何重にもつながっているとき、全体の微分は、それぞれの微分の掛け算になる。
y=f(u)、u=g(x) のとき dy/dx = dy/du × du/dx
ニューラルネットワークは層ごとの関数が何重にもつながったもの。後ろの層で計算した微分を使い回せるので、出力側から順に効率よく計算できる

気持ちの掛け算…♡ ルナの「好き」×相手の「ふつう」で…

…ふつうが0なら、全部0。

かけ算の0、こわっ!
#4掛け算だから、消えたり爆発したりする

…逆伝播では、層を通るたびに微分を掛ける。1より小さい数を何十回も掛けると…

0に近づいて、入力側の層に勾配が届かない! 勾配消失問題だ!

…逆に、1より大きい数を何度も掛けると、勾配がどんどん大きくなる。これが勾配爆発問題。

爆発すると、どうなるの?

…重みが一気に遠くへ飛ばされて、学習が不安定になる。
| 勾配消失問題 | 勾配爆発問題 | |
|---|---|---|
| 起きること | 勾配が0に近づく | 勾配が大きくなりすぎる |
| 結果 | 入力側の層が学習しない | 学習が不安定になる |
| 主な原因 | 1より小さい微分の掛け算 | 1より大きい値の掛け算 |
| 主な対策 | ReLU・残差接続など | 勾配クリッピングなど |

気持ちも、消えるか爆発するかの二択なのね…♡
#5どうやって乗りこえた?

…勾配消失には、傾きが消えにくいReLU、層を飛びこえて伝える残差接続(スキップ結合)、バッチ正規化など。

…勾配爆発には、勾配が大きすぎたら上限までちぢめる勾配クリッピング。

上限までちぢめる…♡ ルナの重い気持ちにもクリッピングが必要なの?

それは自分で言っちゃうんだ!

残差接続って、2015年のResNetで152層まで深くできたやつ!

…正解。問題の原因が分かれば、対策が作れる。
ミコのメモ(自分あて)
- 誤差逆伝播法=出力側から逆向きに勾配を計算既読
- しくみの中心は連鎖律(微分の掛け算)既読
- 信用割当問題=どの重みに責任があるか既読
- 小さい値の掛け算で勾配消失、大きい値で勾配爆発既読
- 爆発対策は勾配クリッピング、消失対策はReLUや残差接続既読
試験デンデン! 1問だけ
誤差逆伝播法で、層の数を増やすと入力に近い層の勾配がどんどん大きくなり、学習が不安定になる現象を何という?
逆伝播では層ごとに値を掛け合わせるので、1より大きい値が重なると勾配が爆発的に大きくなる。これが勾配爆発問題で、勾配クリッピングなどで対策する。勾配消失問題は逆に勾配が0に近づく現象、信用割当問題は「どの重みに誤差の責任があるか」という問題そのもの、鞍点はある向きでは谷底・別の向きでは山頂になっている勾配0の点。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Rumelhart, Hinton, Williams「Learning representations by back-propagating errors」(Nature, 1986年)
- Stanford CS231n「Backpropagation, Intuitions」
- Goodfellow, Bengio, Courville「Deep Learning」第6章 6.5 Back-Propagation(連鎖律)
- Goodfellow, Bengio, Courville「Deep Learning」第8章(勾配消失・勾配爆発、バッチ正規化)
- Schmidhuber「Deep Learning in Neural Networks: An Overview」(2014年・信用割当問題)
- Pascanu, Mikolov, Bengio「On the difficulty of training Recurrent Neural Networks」(2012年・勾配クリッピング)
- He ほか「Deep Residual Learning for Image Recognition」(2015年・ResNet)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。