♪この章の曲過去問オーバーフィット
サビで覚えて、下の会話で回収
#1丸暗記の落とし穴

わたし、問題集の答えを全部暗記したのに、本番テストで全然とけなかった!

…それ、AIでも起きる。過学習。
訓練データに合わせすぎて(覚えすぎて)、新しいデータでは正しく予測できなくなること
overfitting ── 反対に、新しいデータでもうまく予測できる力を「汎化性能」という

元カレの好みにぴったり合わせすぎて、次の人とうまくいかない…みたいな?

…たとえが重い。でも、しくみは合ってる。

AIのゴールは、練習問題じゃなくて、見たことない問題で当てることなんだ!

…そう。その力が汎化性能。
#2訓練誤差と汎化誤差

…学習に使ったデータでのまちがいが、訓練誤差。

…まだ見ていないデータでのまちがいが、汎化誤差。ふつうはテストデータで見積もる。

過学習だと、訓練誤差は小さいのに、汎化誤差が大きいってこと?

…正解。学習を続けると、どこかで2つの差が開きはじめる。
- 1学習を進めると、訓練データの誤差はどんどん下がる
- 2検証データの誤差も、はじめはいっしょに下がる
- 3ある時点から、検証データの誤差だけが上がりはじめる
- 4そこから先が過学習のサイン

練習のしすぎで、本番に弱くなるのね…♡
#3なぜ起きる?どう防ぐ?

なんで覚えすぎちゃうの?

…原因は主に2つ。モデルが複雑すぎる。データが少なすぎる、または偏ってる。

…複雑なモデルは、たまたまの雑音まで覚えてしまう。

デートの日の天気まで「好みのタイプ」として覚えちゃうのね
- データを増やす
- 正則化(複雑さにペナルティ)
- 早期終了(検証誤差が上がる前に止める)
- 交差検証で汎化性能を確かめる

早期終了って、勉強を途中でやめるの!? わたし得意!

…やめる時期を、検証データで決めるなら。あなたのは、ただの中断。
#4シンプルなほうを選ぶ「オッカムの剃刀」

…同じくらい説明できるなら、シンプルなほうを選ぶ。オッカムの剃刀。

カミソリで、よけいなものをそぎ落とすのね♡

…数字で選ぶ方法もある。AICやBIC。当てはまりの良さから、パラメータの多さを差し引いて比べる。
| AIC | BIC | |
|---|---|---|
| 正式名 | 赤池情報量規準 | ベイズ情報量規準 |
| ペナルティ | 2×パラメータ数 | log(データ数)×パラメータ数 |
| 見方 | 小さいほど良い | 小さいほど良い |

じゃあ、とにかくシンプルにすれば安心?

…単純すぎると、訓練データすら説明できない。それは未学習。

合わせすぎもダメ、合わせなさすぎもダメ…恋愛と同じなの♡

…今日は、それで合ってる。

複雑にすると練習の点は上がるけど、上げすぎると本番で負ける! バランスか!
ミコのメモ(自分あて)
- 過学習=訓練データに合わせすぎ、新しいデータで外れる既読
- 過学習は訓練誤差が小さく、汎化誤差が大きい既読
- 原因はモデルが複雑すぎ・データ不足既読
- 対策=データ追加・正則化・早期終了既読
- オッカムの剃刀・AIC・BIC=シンプルなモデルを選ぶ既読
試験デンデン! 1問だけ
あるモデルは、訓練データでの誤差はとても小さいが、テストデータでの誤差が大きい。この状態と、その対策の組み合わせとして最も適切なものはどれ?
訓練誤差が小さくテスト誤差(汎化誤差の見積もり)が大きいのは過学習の典型。モデルの複雑さにペナルティをかける正則化が対策になる。未学習は訓練データでも誤差が大きい状態。学習回数を増やすと過学習はさらに進みやすい。汎化性能が高いとは、新しいデータでも誤差が小さいことなので逆。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Google for Developers「Overfitting」(定義・原因・学習曲線)
- Google for Developers「Overfitting: Model complexity」(Occam's razor)
- Google for Developers「Overfitting: L2 regularization」(早期終了)
- scikit-learn「Cross-validation: evaluating estimator performance」
- scikit-learn「Linear Models」(AIC and BIC criteria)
- Google for Developers「Machine Learning Glossary」(underfitting)
AIC=−2×log(最大尤度)+2×パラメータ数、BIC=−2×log(最大尤度)+log(データ数)×パラメータ数(scikit-learnの定義。文献によって表し方が少しちがう)。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。