G検定 第4章|ディープラーニングの概要

ハイパーパラメータの調整

AIが自分で決められない設定は、どうやって選ぶの?

会話で読んで3分

ハイパーパラメータグリッドサーチランダムサーチ早期終了二重降下現象

♪この章の曲谷底はどこ?登山部

サビで覚えて、下の会話で回収

#1パラメータとハイパーパラメータ

ミコ

ずっと「重みは学習で決まる」って言ってたけど、学習率は誰が決めるの?

シオン

…人が決める。学習で決まる重みやバイアスがパラメータ。学習の前に人が決める設定がハイパーパラメータ。

ハイパーパラメータの例
  • 学習率
  • ミニバッチの大きさ
  • エポック数
  • 隠れ層の数・ニューロンの数
  • ドロップアウトの割合
  • 正則化の強さλ
ルナ

料理でいうと、材料の味は勝手に決まるけど、火加減は人が決める…ってこと?♡

シオン

…そう。同じ材料でも、火加減で味が変わる。

ミコ

ルナがまともなたとえ言った!

#2全部ためす「グリッドサーチ」

シオン

…いちばん素直なのがグリッドサーチ。候補の値の組み合わせを、全部ためす。

ミコ

学習率3つ、層の数3つなら、3×3で9通り! 全部やれば、いちばんいいのがわかる!

シオン

…でも、項目が増えると組み合わせが爆発する。5項目で各5通りなら、3125通り。

ルナ

デートのお店を全部ためしてから決めるタイプ…♡ 一生決まらないの

ミコ

それはもう、決める気ないやつ!

#3「ランダムサーチ」と「ベイズ最適化」

シオン

…ランダムサーチは、値をランダムに選んでためす。同じ回数なら、グリッドより良い値が見つかりやすいと報告されている。

ミコ

えっ、てきとうに選んだほうがいいの!?

シオン

…大事なハイパーパラメータは、たいてい一部だけ。ランダムなら、その大事な項目をいろんな値でためせる。

シオン

…ベイズ最適化は、それまでの結果から「次はここが良さそう」と予想して、ためす値を選ぶ。

ハイパーパラメータの探し方
やり方特徴
グリッドサーチ候補の組み合わせを全部単純。数が増えると重い
ランダムサーチランダムに選んでためす同じ回数ならグリッドより効率的
ベイズ最適化過去の結果から次を選ぶ少ない回数で探せる
ルナ

ベイズ最適化は、前回のデートの反応を見て次のお店を選ぶ、できる人ね♡

ミコ

そのたとえ、今日はずっと当たってる! ルナ、調子いい!

#4いいところで止める「早期終了」

ミコ

エポック数もハイパーパラメータなんだよね? 長く学習するほど賢くなるんじゃないの?

シオン

…学習データの誤差は下がり続ける。でも、検証データの誤差は、あるところから上がりはじめる。

ミコ

過学習が始まったサインだ!

シオン

…そこで学習を止めるのが早期終了。正則化の1つとしても扱われる。

早期終了の流れ
  1. 11エポックごとに、検証データで誤差を測る
  2. 2検証データの誤差が、しばらく下がらなくなる(上がりはじめる)
  3. 3そこで学習を止め、いちばん良かった時点の重みを使う
ルナ

重くなる前に身を引く…♡ ルナもそれができたらいいのに

#5悪くなって、また良くなる「二重降下現象」

シオン

…ただ、最近の深いモデルでは、ちょっと変わったことも起きる。

シオン

…モデルを大きくしたり学習を続けたりすると、テストの誤差が一度上がって、また下がることがある。二重降下現象。

ミコ

え、待って。悪くなったと思って止めたら、もったいないこともあるの!?

シオン

…ありうる。だから、決めつけずに、検証データで確かめながら調整する。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

検証データの誤差が下がらなくなった(上がりはじめた)時点で学習を打ち切り、過学習を防ぐ方法はどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第4章のレッスン

  1. ニューラルネットワークとディープラーニング
  2. 活性化関数
  3. 誤差関数(損失関数)
  4. 勾配降下法
  5. 最適化手法(モーメンタム・AdaGrad・RMSprop・Adam)
  6. 誤差逆伝播法
  7. 正則化(L1・L2・ドロップアウト)
  8. ハイパーパラメータの調整