G検定 第4章|ディープラーニングの概要

誤差逆伝播法

まちがいの責任を、どうやって各層に割りふるの?

会話で読んで3分

誤差逆伝播法連鎖律信用割当問題勾配消失問題勾配爆発問題

♪この章の曲谷底はどこ?登山部

サビで覚えて、下の会話で回収

#1どの重みが悪かったの?

ミコ

勾配降下法って、重みごとの勾配が必要なんだよね? 重みが何百万個もあったら、どうやって計算するの?

シオン

…そこが問題。結果がまちがったとき、どの重みにどれだけ責任があるのか。

シオン

…これを信用割当問題という。1960年代にミンスキーが論じた、学習の根っこの問題。

ルナ

フラれたとき、原因がルナの顔か、性格か、LINEの量か…わからないのと同じね♡

シオン

…たぶん、LINEの量。

ミコ

即答しないで!

#2出力から逆向きに、責任をたどる

シオン

…答えが誤差逆伝播法。出力層の誤差から出発して、入力側へ1層ずつ、勾配を逆向きに伝える。

誤差逆伝播法の流れ
  1. 1順伝播:入力から出力へ計算して、予測を出す
  2. 2誤差関数で、予測と正解のずれ(誤差)を計算する
  3. 3逆伝播:出力層から入力層へ向けて、各重みの勾配を連鎖律で計算する
  4. 4勾配降下法などで、すべての重みを更新する
ミコ

後ろから順番に責任を追いかけていくんだ!

シオン

…1986年、ラメルハート、ヒントン、ウィリアムズのNature論文で広く知られるようになった。

#3カギは「連鎖律」

ミコ

でも、なんで後ろから順に計算できるの?

シオン

…連鎖律。関数が何重にもつながっているとき、全体の微分は、それぞれの微分の掛け算になる。

連鎖律(2段の場合)

y=f(u)、u=g(x) のとき dy/dx = dy/du × du/dx

ニューラルネットワークは層ごとの関数が何重にもつながったもの。後ろの層で計算した微分を使い回せるので、出力側から順に効率よく計算できる

ルナ

気持ちの掛け算…♡ ルナの「好き」×相手の「ふつう」で…

シオン

…ふつうが0なら、全部0。

ミコ

かけ算の0、こわっ!

#4掛け算だから、消えたり爆発したりする

シオン

…逆伝播では、層を通るたびに微分を掛ける。1より小さい数を何十回も掛けると…

ミコ

0に近づいて、入力側の層に勾配が届かない! 勾配消失問題だ!

シオン

…逆に、1より大きい数を何度も掛けると、勾配がどんどん大きくなる。これが勾配爆発問題。

ミコ

爆発すると、どうなるの?

シオン

…重みが一気に遠くへ飛ばされて、学習が不安定になる。

勾配消失と勾配爆発
勾配消失問題勾配爆発問題
起きること勾配が0に近づく勾配が大きくなりすぎる
結果入力側の層が学習しない学習が不安定になる
主な原因1より小さい微分の掛け算1より大きい値の掛け算
主な対策ReLU・残差接続など勾配クリッピングなど
ルナ

気持ちも、消えるか爆発するかの二択なのね…♡

#5どうやって乗りこえた?

シオン

…勾配消失には、傾きが消えにくいReLU、層を飛びこえて伝える残差接続(スキップ結合)、バッチ正規化など。

シオン

…勾配爆発には、勾配が大きすぎたら上限までちぢめる勾配クリッピング。

ルナ

上限までちぢめる…♡ ルナの重い気持ちにもクリッピングが必要なの?

ミコ

それは自分で言っちゃうんだ!

ミコ

残差接続って、2015年のResNetで152層まで深くできたやつ!

シオン

…正解。問題の原因が分かれば、対策が作れる。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

誤差逆伝播法で、層の数を増やすと入力に近い層の勾配がどんどん大きくなり、学習が不安定になる現象を何という?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第4章のレッスン

  1. ニューラルネットワークとディープラーニング
  2. 活性化関数
  3. 誤差関数(損失関数)
  4. 勾配降下法
  5. 最適化手法(モーメンタム・AdaGrad・RMSprop・Adam)
  6. 誤差逆伝播法
  7. 正則化(L1・L2・ドロップアウト)
  8. ハイパーパラメータの調整