♪この章の曲谷底はどこ?登山部
サビで覚えて、下の会話で回収
#1正則化は、なんのため?

学習データでは100点なのに、本番のテストで点が取れないの、なんだっけ?

…過学習。学習データのクセやノイズまで覚えて、新しいデータに弱くなる。

…それを防ぐ工夫をまとめて、正則化という。

元カレのクセを全部覚えちゃって、次の人とうまくいかないのも過学習…?♡

…かなり、近い。

近いんだ!?
#2重みが大きくなりすぎたら、罰をあたえる

…代表的なやり方は、誤差に「重みの大きさ」をペナルティとして足すこと。
最小にするもの = 誤差 + λ ×(重みの大きさ)
λ(ラムダ)は正則化の強さ。大きいほど重みを小さく抑える。重みの「大きさ」の測り方で、L1・L2などに分かれる

誤差を小さくしたいけど、重みを大きくすると罰が増える…綱引きだ!

…そう。極端な重みを使えなくなるので、なめらかで単純なモデルになりやすい。
#3L1とL2、なにがちがう?

…L2正則化は、重みの2乗の合計を足す。全部の重みを、まんべんなく小さくする。

…L1正則化は、重みの絶対値の合計を足す。いくつかの重みがちょうど0になりやすい。

0になるってことは、その入力は使わないってこと?

…そう。いらない特徴を自動で切りすてる。これをスパースになる、という。
| L1正則化 | L2正則化 | |
|---|---|---|
| 足すもの | 重みの絶対値の合計 | 重みの2乗の合計 |
| 重みの変化 | いくつかがちょうど0 | 全体がまんべんなく小さく |
| 線形回帰では | ラッソ回帰 | リッジ回帰 |
| 向いている場面 | 特徴をしぼりたい | 全体をなめらかに |

L1は、いらない人をきっぱり0にする女…♡ L2は、みんなに少しずつ冷たい女

どっちもこわい!
#4L0正則化は「0でない数」を数える

…L0正則化は、0でない重みの「個数」をペナルティにする。

使う重みの数を直接へらすんだ! いちばんストレート!

…でも、個数はなめらかに変わらないので、勾配で最適化しにくい。だから代わりにL1がよく使われる。

ストレートな方法ほど、うまくいかないのね…恋と同じ♡

…恋は知らない。L0は、ほぼ数え上げ。
#5ドロップアウト ── わざと休ませる

…ニューラルネットワークでよく使うのが、ドロップアウト。

…学習のたびに、ランダムに選んだニューロンを休ませる(出力を0にする)。

わざとサボらせるの!? なんで強くなるの?

…特定のニューロンにたよれなくなる。毎回ちがう小さなネットワークを学習して、平均するのに近い効果がある。
- 1学習時:ニューロンをランダムに休ませる(隠れ層では半分くらいがよく使われる)
- 2毎回ちがう組み合わせで学習するので、特定のニューロンにたよらなくなる
- 3推論時:休ませずに全部使う(出力の大きさがそろうよう、重みや出力を調整する)

毎回メンバーが半分休むアイドルグループ…♡ みんなセンターができるようになるのね

入力CHUは3人だから、休んだら1.5人になっちゃう!
ミコのメモ(自分あて)
- 正則化=過学習を防ぐ工夫。誤差に重みのペナルティを足す既読
- L1=絶対値の和。重みが0になりやすい(ラッソ回帰)既読
- L2=2乗の和。全体を小さく(リッジ回帰)既読
- L0=0でない重みの個数。最適化しにくい既読
- ドロップアウト=学習時だけランダムに休ませる既読
試験デンデン! 1問だけ
線形回帰に、重みの2乗の合計をペナルティとして加える手法を何という?
重みの2乗の合計(L2)を加えた線形回帰はリッジ回帰。重みがまんべんなく小さくなる。ラッソ回帰は重みの絶対値の合計(L1)を加える手法で、いくつかの重みがちょうど0になりやすい。L0正則化は0でない重みの個数をペナルティにするもの。ドロップアウトはニューラルネットワークの学習中にニューロンをランダムに休ませる手法で、ペナルティ項を足す方法ではない。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Stanford CS231n「Neural Networks Part 2」Regularization
- Goodfellow, Bengio, Courville「Deep Learning」第7章 Regularization for Deep Learning(MIT Press, 2016)
- Goodfellow, Bengio, Courville「Deep Learning」第2章 Linear Algebra(「L0ノルム」について)
- scikit-learn「Linear Models」(Ridge・Lasso)
- Srivastava ほか「Dropout: A Simple Way to Prevent Neural Networks from Overfitting」(JMLR, 2014)
- PyTorch Docs「torch.nn.Dropout」
ドロップアウトで「半分くらい」は、原論文で隠れ層のニューロンを残す確率0.5がさまざまな問題で最適に近いとされたことによる目安です。入力層では残す確率を1に近くするのがよいとされています。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。