G検定 第3章|機械学習の概要

過学習と汎化性能

練習では満点なのに、本番でボロボロ…なんで?

会話で読んで4分

過学習汎化性能訓練誤差汎化誤差オッカムの剃刀赤池情報量規準(AIC)

♪この章の曲過去問オーバーフィット

サビで覚えて、下の会話で回収

#1丸暗記の落とし穴

ミコ

わたし、問題集の答えを全部暗記したのに、本番テストで全然とけなかった!

シオン

…それ、AIでも起きる。過学習。

過学習

訓練データに合わせすぎて(覚えすぎて)、新しいデータでは正しく予測できなくなること

overfitting ── 反対に、新しいデータでもうまく予測できる力を「汎化性能」という

ルナ

元カレの好みにぴったり合わせすぎて、次の人とうまくいかない…みたいな?

シオン

…たとえが重い。でも、しくみは合ってる。

ミコ

AIのゴールは、練習問題じゃなくて、見たことない問題で当てることなんだ!

シオン

…そう。その力が汎化性能。

#2訓練誤差と汎化誤差

シオン

…学習に使ったデータでのまちがいが、訓練誤差。

シオン

…まだ見ていないデータでのまちがいが、汎化誤差。ふつうはテストデータで見積もる。

ミコ

過学習だと、訓練誤差は小さいのに、汎化誤差が大きいってこと?

シオン

…正解。学習を続けると、どこかで2つの差が開きはじめる。

過学習の見つけ方(学習曲線)
  1. 1学習を進めると、訓練データの誤差はどんどん下がる
  2. 2検証データの誤差も、はじめはいっしょに下がる
  3. 3ある時点から、検証データの誤差だけが上がりはじめる
  4. 4そこから先が過学習のサイン
ルナ

練習のしすぎで、本番に弱くなるのね…♡

#3なぜ起きる?どう防ぐ?

ミコ

なんで覚えすぎちゃうの?

シオン

…原因は主に2つ。モデルが複雑すぎる。データが少なすぎる、または偏ってる。

シオン

…複雑なモデルは、たまたまの雑音まで覚えてしまう。

ルナ

デートの日の天気まで「好みのタイプ」として覚えちゃうのね

過学習の主な対策
  • データを増やす
  • 正則化(複雑さにペナルティ)
  • 早期終了(検証誤差が上がる前に止める)
  • 交差検証で汎化性能を確かめる
ミコ

早期終了って、勉強を途中でやめるの!? わたし得意!

シオン

…やめる時期を、検証データで決めるなら。あなたのは、ただの中断。

#4シンプルなほうを選ぶ「オッカムの剃刀」

シオン

…同じくらい説明できるなら、シンプルなほうを選ぶ。オッカムの剃刀。

ルナ

カミソリで、よけいなものをそぎ落とすのね♡

シオン

…数字で選ぶ方法もある。AICやBIC。当てはまりの良さから、パラメータの多さを差し引いて比べる。

モデル選びの情報量規準
AICBIC
正式名赤池情報量規準ベイズ情報量規準
ペナルティ2×パラメータ数log(データ数)×パラメータ数
見方小さいほど良い小さいほど良い
ミコ

じゃあ、とにかくシンプルにすれば安心?

シオン

…単純すぎると、訓練データすら説明できない。それは未学習。

ルナ

合わせすぎもダメ、合わせなさすぎもダメ…恋愛と同じなの♡

シオン

…今日は、それで合ってる。

ミコ

複雑にすると練習の点は上がるけど、上げすぎると本番で負ける! バランスか!

ミコのメモ(自分あて)

試験デンデン! 1問だけ

あるモデルは、訓練データでの誤差はとても小さいが、テストデータでの誤差が大きい。この状態と、その対策の組み合わせとして最も適切なものはどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

AIC=−2×log(最大尤度)+2×パラメータ数、BIC=−2×log(最大尤度)+log(データ数)×パラメータ数(scikit-learnの定義。文献によって表し方が少しちがう)。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第3章のレッスン

  1. 機械学習の3つのタイプ
  2. 回帰問題と線形回帰
  3. 回帰モデルの評価指標(MAE・MSE・RMSE)
  4. 分類問題(ロジスティック回帰とSVM)
  5. 決定木
  6. アンサンブル学習(バギングとブースティング)
  7. クラスタリング(k-means法と階層的クラスタリング)
  8. 次元削減(主成分分析とt-SNE)
  9. レコメンデーション(推薦システム)
  10. 強化学習
  11. 強化学習の代表的な手法(SARSA・方策勾配法・MARL)
  12. モデルの評価指標(混同行列・適合率・再現率・F値)
  13. ROC曲線とAUC
  14. 過学習と汎化性能
  15. 交差検証とホールドアウト検証