G検定 第3章|機械学習の概要

アンサンブル学習(バギングとブースティング)

モデルを何個も集めると、なぜ強くなるの?

会話で読んで3分

アンサンブル学習バギングブートストラップサンプリングランダムフォレストブースティング勾配ブースティング

♪この章の曲過去問オーバーフィット

サビで覚えて、下の会話で回収

#1アンサンブル学習は「みんなで決める」

ミコ

前回、決定木は1本だとぶれるって言ってたよね!

シオン

…だから、モデルを何個も作って、予測を合わせる。アンサンブル学習。

ルナ

アンサンブル…合奏ね♡ ルナとAIのデュエット

シオン

…デュエットは2人。もっと多い。

ミコ

組み合わせ方は1つじゃないの?

シオン

…代表は2つ。並べて同時に学ぶか、順番に学ぶか。

バギングとブースティング
バギングブースティング
学び方並列(同時に)直列(順番に)
合わせ方多数決・平均重みをつけて足す
向く土台複雑なモデル(深い木)弱いモデル(浅い木)
代表例ランダムフォレスト勾配ブースティング

#2バギング:データを引き直して、並列に学ぶ

シオン

…バギング。学習データから、もどしながらランダムに引き直す。

シオン

…同じデータが2回出てもいい。これがブートストラップサンプリング。

ミコ

引き直すたびに、少しずつちがうデータセットができるんだ!

バギングの流れ
  1. 1学習データから、重複ありでランダムに引いたデータセットを何個も作る
  2. 2それぞれで別々のモデルを、同時に学習させる
  3. 3分類なら多数決、回帰なら平均で、最終的な答えを出す
ルナ

同じルナが何回も選ばれていいの? うれしい♡

シオン

…いい。ただし、選ばれない回もある。

#3ランダムフォレスト:決定木の「森」

シオン

…バギングを決定木でやって、さらに一工夫したのがランダムフォレスト。

シオン

…木を分けるとき、使う特徴量もランダムにしぼる。木どうしが似すぎないように。

ミコ

みんな同じ意見だと、多数決の意味ないもんね!

ルナ

いろんな個性の木が集まった森…♡ アイドルグループみたい

ミコ

それはちょっと分かる!

#4ブースティング:前の失敗を、次が直す

シオン

…ブースティング。モデルを1個ずつ、順番に足していく。

シオン

…次のモデルは、それまでのモデルが間違えたところを重点的に学ぶ。

ミコ

リレーみたい! 前の人の失敗をカバーしていく!

シオン

…そう。1個1個は浅い決定木のような弱いモデル。足すと強くなる。

ルナ

前の人の失敗から学ぶ…ルナの次の恋人は幸せになれるのね♡

シオン

…ルナが学ぶ側。

#5勾配ブースティング:残りのズレを埋めていく

シオン

…勾配ブースティング。次の木は、損失を減らす方向(勾配)に合わせて学ぶ。

ミコ

むずかしい! もっとかんたんに!

シオン

…2乗誤差なら、「まだ残っているズレ」を次の木が予測して、埋めていく。

ミコ

並列で多数決がバギング、順番に直すのがブースティング!

ミコのメモ(自分あて)

試験デンデン! 1問だけ

学習データから重複を許してランダムに取り出したデータセットを複数作り、それぞれで学習したモデルの多数決や平均で予測するアンサンブル学習の方法はどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第3章のレッスン

  1. 機械学習の3つのタイプ
  2. 回帰問題と線形回帰
  3. 回帰モデルの評価指標(MAE・MSE・RMSE)
  4. 分類問題(ロジスティック回帰とSVM)
  5. 決定木
  6. アンサンブル学習(バギングとブースティング)
  7. クラスタリング(k-means法と階層的クラスタリング)
  8. 次元削減(主成分分析とt-SNE)
  9. レコメンデーション(推薦システム)
  10. 強化学習
  11. 強化学習の代表的な手法(SARSA・方策勾配法・MARL)
  12. モデルの評価指標(混同行列・適合率・再現率・F値)
  13. ROC曲線とAUC
  14. 過学習と汎化性能
  15. 交差検証とホールドアウト検証