G検定 第4章|ディープラーニングの概要

最適化手法(モーメンタム・AdaGrad・RMSprop・Adam)

ふつうの勾配降下法の、なにを改良したの?

会話で読んで3分

モーメンタムAdaGradRMSpropAdamAdaBoundノーフリーランチの定理

♪この章の曲谷底はどこ?登山部

サビで覚えて、下の会話で回収

#1ふつうの勾配降下法の困りごと

ミコ

前回の山下り、もう完璧! これで全部解決でしょ?

シオン

…困りごとが2つある。細い谷だと、左右の壁に当たってジグザグに進んで遅い。

シオン

…もう1つ。学習率が全部の重みで同じ。急な坂の重みにも、ゆるい坂の重みにも、同じ歩はば。

ルナ

全員に同じ距離感で接するのは、ルナもよくないと思うの♡

シオン

…そう。それを直すのが、これからの最適化手法。

#2モーメンタム ── 勢いをつけて下る

シオン

…モーメンタムは、坂を転がるボールのように、それまでの勢い(速度)をためて進む。

モーメンタムの更新(PyTorchの書き方)

速度 v ← μ × v + 勾配 → 重み ← 重み − 学習率 × v

μ(モーメンタム係数)は0.9などがよく使われる。同じ向きが続くと加速し、向きがころころ変わる成分は打ち消し合う

ミコ

ジグザグの左右の動きは打ち消されて、下る向きだけ加速するんだ!

ルナ

勢いって大事よね♡ ルナも勢いで告白して、勢いで振られたの

ミコ

そっちは減速して!

#3AdaGradとRMSprop ── 重みごとに歩はばを変える

シオン

…AdaGradは、重みごとに、これまでの勾配の2乗を足し続けて、その平方根で学習率を割る。

ミコ

よく動いた重みほど、歩はばが小さくなるってこと?

シオン

…そう。めったに動かない重みは、大きめに動ける。ただ、足し続けるので、そのうち歩はばが小さくなりすぎて学習が止まる。

シオン

…それを直したのがRMSprop。全部足すかわりに、最近の勾配を重く見る移動平均を使う。

ミコ

昔のことは、だんだん忘れていくんだ!

ルナ

元カレの記憶も、移動平均で薄まっていけばいいのに…♡

#4Adam ── 2つのいいとこどり

シオン

…Adamは、モーメンタムの「勢い」と、RMSpropの「重みごとの歩はば」を合わせた手法。2014年に発表。

ミコ

最強の組み合わせじゃん! もうAdamだけでいいね!

シオン

…最初に試す候補として、よく使われる。でも、SGDのほうが汎化しやすい場面もあると言われる。

ルナ

いいとこどりの男って、だいたい浮気するのよね…♡

シオン

…Adamは浮気しない。ただ、問題によって相性がある。

最適化手法のちがい
工夫弱点・その後
モーメンタム勢い(速度)をためる学習率は全部同じ
AdaGrad勾配の2乗を足して割る歩はばが縮みすぎる
RMSprop2乗の移動平均で割るAdaGradを改良
Adam勢い+移動平均最初の候補によく使う
ほかの改良版も名前だけ押さえる
  • AdaDelta:AdaGradを改良。学習率を手で決めなくてよい設計
  • AdaBound:Adamの学習率に上限・下限をつけ、だんだんSGDに近づける
  • AMSBound:AMSGradに同じ工夫をしたもの
ミコ

名前に「Ada」がつくのは、重みごとに歩はばを変えるなかま! 覚えた!

#5どんな問題でも最強、はない

ミコ

結局、どれがいちばん強いの!?

シオン

…ノーフリーランチの定理。あらゆる問題で平均すると、どの最適化手法も性能は同じになる。

シオン

…ある問題で強い手法は、別の問題で弱い。だから、問題に合わせて選ぶ。

ルナ

誰にでもモテる人はいない…♡ ちょっと救われたの

ミコ

ルナ、定理で自分をなぐさめてる!

ミコのメモ(自分あて)

試験デンデン! 1問だけ

過去の勾配の2乗をすべて足し合わせて学習率を割るため、学習が進むと歩はばが小さくなりすぎることがある最適化手法はどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第4章のレッスン

  1. ニューラルネットワークとディープラーニング
  2. 活性化関数
  3. 誤差関数(損失関数)
  4. 勾配降下法
  5. 最適化手法(モーメンタム・AdaGrad・RMSprop・Adam)
  6. 誤差逆伝播法
  7. 正則化(L1・L2・ドロップアウト)
  8. ハイパーパラメータの調整