G検定 第4章|ディープラーニングの概要

正則化(L1・L2・ドロップアウト)

過学習を防ぐために、わざと「ブレーキ」をかけるって本当?

会話で読んで3分

正則化L1正則化L2正則化ラッソ回帰リッジ回帰ドロップアウト

♪この章の曲谷底はどこ?登山部

サビで覚えて、下の会話で回収

#1正則化は、なんのため?

ミコ

学習データでは100点なのに、本番のテストで点が取れないの、なんだっけ?

シオン

…過学習。学習データのクセやノイズまで覚えて、新しいデータに弱くなる。

シオン

…それを防ぐ工夫をまとめて、正則化という。

ルナ

元カレのクセを全部覚えちゃって、次の人とうまくいかないのも過学習…?♡

シオン

…かなり、近い。

ミコ

近いんだ!?

#2重みが大きくなりすぎたら、罰をあたえる

シオン

…代表的なやり方は、誤差に「重みの大きさ」をペナルティとして足すこと。

正則化をつけた誤差

最小にするもの = 誤差 + λ ×(重みの大きさ)

λ(ラムダ)は正則化の強さ。大きいほど重みを小さく抑える。重みの「大きさ」の測り方で、L1・L2などに分かれる

ミコ

誤差を小さくしたいけど、重みを大きくすると罰が増える…綱引きだ!

シオン

…そう。極端な重みを使えなくなるので、なめらかで単純なモデルになりやすい。

#3L1とL2、なにがちがう?

シオン

…L2正則化は、重みの2乗の合計を足す。全部の重みを、まんべんなく小さくする。

シオン

…L1正則化は、重みの絶対値の合計を足す。いくつかの重みがちょうど0になりやすい。

ミコ

0になるってことは、その入力は使わないってこと?

シオン

…そう。いらない特徴を自動で切りすてる。これをスパースになる、という。

L1正則化とL2正則化
L1正則化L2正則化
足すもの重みの絶対値の合計重みの2乗の合計
重みの変化いくつかがちょうど0全体がまんべんなく小さく
線形回帰ではラッソ回帰リッジ回帰
向いている場面特徴をしぼりたい全体をなめらかに
ルナ

L1は、いらない人をきっぱり0にする女…♡ L2は、みんなに少しずつ冷たい女

ミコ

どっちもこわい!

#4L0正則化は「0でない数」を数える

シオン

…L0正則化は、0でない重みの「個数」をペナルティにする。

ミコ

使う重みの数を直接へらすんだ! いちばんストレート!

シオン

…でも、個数はなめらかに変わらないので、勾配で最適化しにくい。だから代わりにL1がよく使われる。

ルナ

ストレートな方法ほど、うまくいかないのね…恋と同じ♡

シオン

…恋は知らない。L0は、ほぼ数え上げ。

#5ドロップアウト ── わざと休ませる

シオン

…ニューラルネットワークでよく使うのが、ドロップアウト。

シオン

…学習のたびに、ランダムに選んだニューロンを休ませる(出力を0にする)。

ミコ

わざとサボらせるの!? なんで強くなるの?

シオン

…特定のニューロンにたよれなくなる。毎回ちがう小さなネットワークを学習して、平均するのに近い効果がある。

ドロップアウトの使い方
  1. 1学習時:ニューロンをランダムに休ませる(隠れ層では半分くらいがよく使われる)
  2. 2毎回ちがう組み合わせで学習するので、特定のニューロンにたよらなくなる
  3. 3推論時:休ませずに全部使う(出力の大きさがそろうよう、重みや出力を調整する)
ルナ

毎回メンバーが半分休むアイドルグループ…♡ みんなセンターができるようになるのね

ミコ

入力CHUは3人だから、休んだら1.5人になっちゃう!

ミコのメモ(自分あて)

試験デンデン! 1問だけ

線形回帰に、重みの2乗の合計をペナルティとして加える手法を何という?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

ドロップアウトで「半分くらい」は、原論文で隠れ層のニューロンを残す確率0.5がさまざまな問題で最適に近いとされたことによる目安です。入力層では残す確率を1に近くするのがよいとされています。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第4章のレッスン

  1. ニューラルネットワークとディープラーニング
  2. 活性化関数
  3. 誤差関数(損失関数)
  4. 勾配降下法
  5. 最適化手法(モーメンタム・AdaGrad・RMSprop・Adam)
  6. 誤差逆伝播法
  7. 正則化(L1・L2・ドロップアウト)
  8. ハイパーパラメータの調整