♪この章の曲谷底はどこ?登山部
サビで覚えて、下の会話で回収
#1ふつうの勾配降下法の困りごと

前回の山下り、もう完璧! これで全部解決でしょ?

…困りごとが2つある。細い谷だと、左右の壁に当たってジグザグに進んで遅い。

…もう1つ。学習率が全部の重みで同じ。急な坂の重みにも、ゆるい坂の重みにも、同じ歩はば。

全員に同じ距離感で接するのは、ルナもよくないと思うの♡

…そう。それを直すのが、これからの最適化手法。
#2モーメンタム ── 勢いをつけて下る

…モーメンタムは、坂を転がるボールのように、それまでの勢い(速度)をためて進む。
速度 v ← μ × v + 勾配 → 重み ← 重み − 学習率 × v
μ(モーメンタム係数)は0.9などがよく使われる。同じ向きが続くと加速し、向きがころころ変わる成分は打ち消し合う

ジグザグの左右の動きは打ち消されて、下る向きだけ加速するんだ!

勢いって大事よね♡ ルナも勢いで告白して、勢いで振られたの

そっちは減速して!
#3AdaGradとRMSprop ── 重みごとに歩はばを変える

…AdaGradは、重みごとに、これまでの勾配の2乗を足し続けて、その平方根で学習率を割る。

よく動いた重みほど、歩はばが小さくなるってこと?

…そう。めったに動かない重みは、大きめに動ける。ただ、足し続けるので、そのうち歩はばが小さくなりすぎて学習が止まる。

…それを直したのがRMSprop。全部足すかわりに、最近の勾配を重く見る移動平均を使う。

昔のことは、だんだん忘れていくんだ!

元カレの記憶も、移動平均で薄まっていけばいいのに…♡
#4Adam ── 2つのいいとこどり

…Adamは、モーメンタムの「勢い」と、RMSpropの「重みごとの歩はば」を合わせた手法。2014年に発表。

最強の組み合わせじゃん! もうAdamだけでいいね!

…最初に試す候補として、よく使われる。でも、SGDのほうが汎化しやすい場面もあると言われる。

いいとこどりの男って、だいたい浮気するのよね…♡

…Adamは浮気しない。ただ、問題によって相性がある。
| 工夫 | 弱点・その後 | |
|---|---|---|
| モーメンタム | 勢い(速度)をためる | 学習率は全部同じ |
| AdaGrad | 勾配の2乗を足して割る | 歩はばが縮みすぎる |
| RMSprop | 2乗の移動平均で割る | AdaGradを改良 |
| Adam | 勢い+移動平均 | 最初の候補によく使う |
- AdaDelta:AdaGradを改良。学習率を手で決めなくてよい設計
- AdaBound:Adamの学習率に上限・下限をつけ、だんだんSGDに近づける
- AMSBound:AMSGradに同じ工夫をしたもの

名前に「Ada」がつくのは、重みごとに歩はばを変えるなかま! 覚えた!
#5どんな問題でも最強、はない

結局、どれがいちばん強いの!?

…ノーフリーランチの定理。あらゆる問題で平均すると、どの最適化手法も性能は同じになる。

…ある問題で強い手法は、別の問題で弱い。だから、問題に合わせて選ぶ。

誰にでもモテる人はいない…♡ ちょっと救われたの

ルナ、定理で自分をなぐさめてる!
ミコのメモ(自分あて)
- モーメンタム=勢いをためて振動をおさえる既読
- AdaGrad=勾配の2乗の合計で割る。歩はばが縮みすぎる既読
- RMSprop=2乗の移動平均で割ってAdaGradを改良既読
- Adam=モーメンタム+RMSpropの考え方既読
- ノーフリーランチ=万能の最適化手法はない既読
試験デンデン! 1問だけ
過去の勾配の2乗をすべて足し合わせて学習率を割るため、学習が進むと歩はばが小さくなりすぎることがある最適化手法はどれ?
AdaGradは重みごとに勾配の2乗を足し続け、その平方根で学習率を割るので、学習が長引くと実質の学習率がどんどん小さくなる。これを移動平均で直したのがRMSprop。モーメンタムは勢い(速度)をためる手法で学習率は割らない。Adamは2乗の「移動平均」を使うので足し続けない。AdaBoundはAdamの学習率に上限・下限をつけた手法。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Stanford CS231n「Neural Networks Part 3」Parameter updates
- PyTorch Docs「torch.optim.SGD」(モーメンタムの式)
- Duchi, Hazan, Singer「Adaptive Subgradient Methods for Online Learning and Stochastic Optimization」(JMLR, 2011・AdaGrad)
- Hinton「Neural Networks for Machine Learning」Lecture 6(トロント大学・RMSprop)
- Kingma & Ba「Adam: A Method for Stochastic Optimization」(arXiv 2014・ICLR 2015)
- Zeiler「ADADELTA: An Adaptive Learning Rate Method」(2012年)
- Luo ほか「Adaptive Gradient Methods with Dynamic Bound of Learning Rate」(ICLR 2019・AdaBound/AMSBound)
- Wolpert & Macready「No Free Lunch Theorems for Optimization」(IEEE Trans. Evolutionary Computation, 1997)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。