G検定 第3章|機械学習の概要

交差検証とホールドアウト検証

手持ちのデータだけで、本番の実力ってどう測るの?

会話で読んで3分

交差検証k-分割交差検証ホールドアウト検証汎化性能検証データ

♪この章の曲過去問オーバーフィット

サビで覚えて、下の会話で回収

#1練習問題でテストしちゃダメ

ミコ

前回の過学習、こわかった! じゃあ本番の実力って、どうやって測るの?

シオン

…学習に使ったデータでテストしても意味がない。答えを覚えてるだけかもしれない。

ルナ

自分で書いたラブレターを、自分で採点するみたいなものね♡ 毎回満点なの

シオン

…だから、データの一部を最初から取り分けて、学習に使わない。

ミコ

見たことない問題を、わざと残しておくんだ!

シオン

…そう。ねらいは、新しいデータでの成績=汎化性能を見積もること。

#2シンプルに分ける「ホールドアウト検証」

シオン

…いちばんシンプルなのは、1回だけ分ける。ホールドアウト検証。

データの3つの役わり
使いみちいつ使う
訓練データモデルを学習させる学習中ずっと
検証データ設定やモデルを選ぶ調整のたび
テストデータ最後の実力チェック最後に1回だけ
ミコ

簡単じゃん! これで解決!

シオン

…弱点が2つ。学習に使えるデータが減る。それと、分け方の運で結果がぶれる。

ルナ

たまたま簡単な問題ばかりテストに入ったら、実力以上に見えちゃうのね

シオン

…そう。データが少ないほど、この運が効いてくる。

#3全員が1回ずつテスト係「k-分割交差検証」

シオン

…そこで交差検証。分けて、役を入れかえながら、何回も検証する。

シオン

…代表がk-分割交差検証。データをk個のグループに分ける。

k-分割交差検証(k=5の例)
  1. 1データを5つのグループに分ける
  2. 21つを検証用、残り4つで学習して成績を測る
  3. 3検証用のグループを入れかえて、5回くり返す
  4. 45回の成績の平均を、モデルの成績とする
ミコ

全部のデータが、1回ずつテスト係になるんだ! 運に左右されにくい!

シオン

…正解。データをむだにしにくいから、データが少ないときに向いてる。

ルナ

いいことずくめ…♡ 弱点はないの?

シオン

…k回学習するから、時間と計算がk倍近くかかる。

ミコ

5回分の宿題! それはつらい!

#4使い分けと注意点

2つの検証方法
ホールドアウトk-分割交差検証
分ける回数1回k回入れかえる
計算軽い重い(k回学習)
向くときデータがたっぷりデータが少なめ
ミコ

じゃあ、データが多いときはホールドアウトでもいいの?

シオン

…多ければ、1回分けても運のぶれが小さい。計算も軽い。

シオン

…データを1件ずつ検証に回す、一つ抜き交差検証もある。データ数=kの特別版。

ルナ

ひとりずつ順番に面談するのね♡ 時間かかりそう

ミコ

株価みたいに、時間の順番があるデータは?

シオン

…ふつうに混ぜて分けると、未来のデータで過去を当てることになる。時間順に分ける工夫がいる。

ルナ

未来を知ってて当てるのは、ズルなのね♡

ミコ

未来のカンニング、禁止! 覚えた!

ミコのメモ(自分あて)

試験デンデン! 1問だけ

データを10個のグループに分け、1つを検証用・残り9つを学習用にして、検証用を入れかえながら10回評価し、その平均をとった。この方法を何という?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第3章のレッスン

  1. 機械学習の3つのタイプ
  2. 回帰問題と線形回帰
  3. 回帰モデルの評価指標(MAE・MSE・RMSE)
  4. 分類問題(ロジスティック回帰とSVM)
  5. 決定木
  6. アンサンブル学習(バギングとブースティング)
  7. クラスタリング(k-means法と階層的クラスタリング)
  8. 次元削減(主成分分析とt-SNE)
  9. レコメンデーション(推薦システム)
  10. 強化学習
  11. 強化学習の代表的な手法(SARSA・方策勾配法・MARL)
  12. モデルの評価指標(混同行列・適合率・再現率・F値)
  13. ROC曲線とAUC
  14. 過学習と汎化性能
  15. 交差検証とホールドアウト検証