♪この章の曲谷底はどこ?登山部
サビで覚えて、下の会話で回収
#1パラメータとハイパーパラメータ

ずっと「重みは学習で決まる」って言ってたけど、学習率は誰が決めるの?

…人が決める。学習で決まる重みやバイアスがパラメータ。学習の前に人が決める設定がハイパーパラメータ。
- 学習率
- ミニバッチの大きさ
- エポック数
- 隠れ層の数・ニューロンの数
- ドロップアウトの割合
- 正則化の強さλ

料理でいうと、材料の味は勝手に決まるけど、火加減は人が決める…ってこと?♡

…そう。同じ材料でも、火加減で味が変わる。

ルナがまともなたとえ言った!
#2全部ためす「グリッドサーチ」

…いちばん素直なのがグリッドサーチ。候補の値の組み合わせを、全部ためす。

学習率3つ、層の数3つなら、3×3で9通り! 全部やれば、いちばんいいのがわかる!

…でも、項目が増えると組み合わせが爆発する。5項目で各5通りなら、3125通り。

デートのお店を全部ためしてから決めるタイプ…♡ 一生決まらないの

それはもう、決める気ないやつ!
#3「ランダムサーチ」と「ベイズ最適化」

…ランダムサーチは、値をランダムに選んでためす。同じ回数なら、グリッドより良い値が見つかりやすいと報告されている。

えっ、てきとうに選んだほうがいいの!?

…大事なハイパーパラメータは、たいてい一部だけ。ランダムなら、その大事な項目をいろんな値でためせる。

…ベイズ最適化は、それまでの結果から「次はここが良さそう」と予想して、ためす値を選ぶ。
| やり方 | 特徴 | |
|---|---|---|
| グリッドサーチ | 候補の組み合わせを全部 | 単純。数が増えると重い |
| ランダムサーチ | ランダムに選んでためす | 同じ回数ならグリッドより効率的 |
| ベイズ最適化 | 過去の結果から次を選ぶ | 少ない回数で探せる |

ベイズ最適化は、前回のデートの反応を見て次のお店を選ぶ、できる人ね♡

そのたとえ、今日はずっと当たってる! ルナ、調子いい!
#4いいところで止める「早期終了」

エポック数もハイパーパラメータなんだよね? 長く学習するほど賢くなるんじゃないの?

…学習データの誤差は下がり続ける。でも、検証データの誤差は、あるところから上がりはじめる。

過学習が始まったサインだ!

…そこで学習を止めるのが早期終了。正則化の1つとしても扱われる。
- 11エポックごとに、検証データで誤差を測る
- 2検証データの誤差が、しばらく下がらなくなる(上がりはじめる)
- 3そこで学習を止め、いちばん良かった時点の重みを使う

重くなる前に身を引く…♡ ルナもそれができたらいいのに
#5悪くなって、また良くなる「二重降下現象」

…ただ、最近の深いモデルでは、ちょっと変わったことも起きる。

…モデルを大きくしたり学習を続けたりすると、テストの誤差が一度上がって、また下がることがある。二重降下現象。

え、待って。悪くなったと思って止めたら、もったいないこともあるの!?

…ありうる。だから、決めつけずに、検証データで確かめながら調整する。
ミコのメモ(自分あて)
- パラメータ=学習で決まる。ハイパーパラメータ=人が決める既読
- グリッドサーチ=候補の組み合わせを全部ためす既読
- ランダムサーチは同じ回数ならグリッドより効率的なことが多い既読
- 早期終了=検証誤差が上がりはじめたら止める既読
- 二重降下=誤差が一度上がり、また下がる現象既読
試験デンデン! 1問だけ
検証データの誤差が下がらなくなった(上がりはじめた)時点で学習を打ち切り、過学習を防ぐ方法はどれ?
早期終了は、検証データの誤差が悪化しはじめたところで学習を止める方法で、正則化の1つとしても扱われる。グリッドサーチとベイズ最適化はハイパーパラメータの値を探す方法で、学習を途中で止めるしくみではない。二重降下現象は、モデルの大きさや学習の長さを増やすとテスト誤差が一度上がってまた下がる現象のことで、方法ではない。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Google for Developers「Machine Learning Glossary」(hyperparameter・early stopping)
- Bergstra & Bengio「Random Search for Hyper-Parameter Optimization」(JMLR, 2012)
- Snoek, Larochelle, Adams「Practical Bayesian Optimization of Machine Learning Algorithms」(2012年)
- Stanford CS231n「Neural Networks Part 3」Hyperparameter optimization
- scikit-learn「Tuning the hyper-parameters of an estimator」(GridSearchCV・RandomizedSearchCV)
- Goodfellow, Bengio, Courville「Deep Learning」第7章 7.8 Early Stopping
- Nakkiran ほか「Deep Double Descent: Where Bigger Models and More Data Hurt」(2019年)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。