♪この章の曲過去問オーバーフィット
サビで覚えて、下の会話で回収
#1練習問題でテストしちゃダメ

前回の過学習、こわかった! じゃあ本番の実力って、どうやって測るの?

…学習に使ったデータでテストしても意味がない。答えを覚えてるだけかもしれない。

自分で書いたラブレターを、自分で採点するみたいなものね♡ 毎回満点なの

…だから、データの一部を最初から取り分けて、学習に使わない。

見たことない問題を、わざと残しておくんだ!

…そう。ねらいは、新しいデータでの成績=汎化性能を見積もること。
#2シンプルに分ける「ホールドアウト検証」

…いちばんシンプルなのは、1回だけ分ける。ホールドアウト検証。
| 使いみち | いつ使う | |
|---|---|---|
| 訓練データ | モデルを学習させる | 学習中ずっと |
| 検証データ | 設定やモデルを選ぶ | 調整のたび |
| テストデータ | 最後の実力チェック | 最後に1回だけ |

簡単じゃん! これで解決!

…弱点が2つ。学習に使えるデータが減る。それと、分け方の運で結果がぶれる。

たまたま簡単な問題ばかりテストに入ったら、実力以上に見えちゃうのね

…そう。データが少ないほど、この運が効いてくる。
#3全員が1回ずつテスト係「k-分割交差検証」

…そこで交差検証。分けて、役を入れかえながら、何回も検証する。

…代表がk-分割交差検証。データをk個のグループに分ける。
- 1データを5つのグループに分ける
- 21つを検証用、残り4つで学習して成績を測る
- 3検証用のグループを入れかえて、5回くり返す
- 45回の成績の平均を、モデルの成績とする

全部のデータが、1回ずつテスト係になるんだ! 運に左右されにくい!

…正解。データをむだにしにくいから、データが少ないときに向いてる。

いいことずくめ…♡ 弱点はないの?

…k回学習するから、時間と計算がk倍近くかかる。

5回分の宿題! それはつらい!
#4使い分けと注意点
| ホールドアウト | k-分割交差検証 | |
|---|---|---|
| 分ける回数 | 1回 | k回入れかえる |
| 計算 | 軽い | 重い(k回学習) |
| 向くとき | データがたっぷり | データが少なめ |

じゃあ、データが多いときはホールドアウトでもいいの?

…多ければ、1回分けても運のぶれが小さい。計算も軽い。

…データを1件ずつ検証に回す、一つ抜き交差検証もある。データ数=kの特別版。

ひとりずつ順番に面談するのね♡ 時間かかりそう

株価みたいに、時間の順番があるデータは?

…ふつうに混ぜて分けると、未来のデータで過去を当てることになる。時間順に分ける工夫がいる。

未来を知ってて当てるのは、ズルなのね♡

未来のカンニング、禁止! 覚えた!
ミコのメモ(自分あて)
- ホールドアウト検証=データを1回だけ分ける既読
- k-分割=k個に分け、1個で検証・残りで学習をk回既読
- k回の成績の平均で汎化性能を見積もる既読
- 交差検証はデータが少ないときに有効。計算は重い既読
- テストデータは最後の実力チェックまで使わない既読
試験デンデン! 1問だけ
データを10個のグループに分け、1つを検証用・残り9つを学習用にして、検証用を入れかえながら10回評価し、その平均をとった。この方法を何という?
k個に分けたデータの1つを検証用、残りを学習用にしてk回入れかえ、平均をとるのはk-分割交差検証(この例ではk=10)。ホールドアウト検証は1回だけ分けて評価する方法。ブートストラップサンプリングは重複を許してデータを抜き出す方法で、バギングなどで使う。早期終了は過学習を防ぐため学習を途中で止める方法。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- scikit-learn「Cross-validation: evaluating estimator performance」(k-fold・Leave One Out・Time Series Split)
- Google for Developers「Overfitting」
- Google for Developers「Overfitting: L2 regularization」(早期終了)
- scikit-learn「Ensembles」(Random Forests:bootstrap sample)
- JDLA「G検定(ジェネラリスト検定)とは」(シラバス)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。