♪この章の曲過去問オーバーフィット
サビで覚えて、下の会話で回収
#1アンサンブル学習は「みんなで決める」

前回、決定木は1本だとぶれるって言ってたよね!

…だから、モデルを何個も作って、予測を合わせる。アンサンブル学習。

アンサンブル…合奏ね♡ ルナとAIのデュエット

…デュエットは2人。もっと多い。

組み合わせ方は1つじゃないの?

…代表は2つ。並べて同時に学ぶか、順番に学ぶか。
| バギング | ブースティング | |
|---|---|---|
| 学び方 | 並列(同時に) | 直列(順番に) |
| 合わせ方 | 多数決・平均 | 重みをつけて足す |
| 向く土台 | 複雑なモデル(深い木) | 弱いモデル(浅い木) |
| 代表例 | ランダムフォレスト | 勾配ブースティング |
#2バギング:データを引き直して、並列に学ぶ

…バギング。学習データから、もどしながらランダムに引き直す。

…同じデータが2回出てもいい。これがブートストラップサンプリング。

引き直すたびに、少しずつちがうデータセットができるんだ!
- 1学習データから、重複ありでランダムに引いたデータセットを何個も作る
- 2それぞれで別々のモデルを、同時に学習させる
- 3分類なら多数決、回帰なら平均で、最終的な答えを出す

同じルナが何回も選ばれていいの? うれしい♡

…いい。ただし、選ばれない回もある。
#3ランダムフォレスト:決定木の「森」

…バギングを決定木でやって、さらに一工夫したのがランダムフォレスト。

…木を分けるとき、使う特徴量もランダムにしぼる。木どうしが似すぎないように。

みんな同じ意見だと、多数決の意味ないもんね!

いろんな個性の木が集まった森…♡ アイドルグループみたい

それはちょっと分かる!
#4ブースティング:前の失敗を、次が直す

…ブースティング。モデルを1個ずつ、順番に足していく。

…次のモデルは、それまでのモデルが間違えたところを重点的に学ぶ。

リレーみたい! 前の人の失敗をカバーしていく!

…そう。1個1個は浅い決定木のような弱いモデル。足すと強くなる。

前の人の失敗から学ぶ…ルナの次の恋人は幸せになれるのね♡

…ルナが学ぶ側。
#5勾配ブースティング:残りのズレを埋めていく

…勾配ブースティング。次の木は、損失を減らす方向(勾配)に合わせて学ぶ。

むずかしい! もっとかんたんに!

…2乗誤差なら、「まだ残っているズレ」を次の木が予測して、埋めていく。

並列で多数決がバギング、順番に直すのがブースティング!
ミコのメモ(自分あて)
- アンサンブル学習=複数のモデルの予測を組み合わせる既読
- バギング=ブートストラップで並列に学び、多数決・平均既読
- ランダムフォレスト=決定木のバギング+特徴量もランダム既読
- ブースティング=前のモデルの間違いを次が直す(直列)既読
試験デンデン! 1問だけ
学習データから重複を許してランダムに取り出したデータセットを複数作り、それぞれで学習したモデルの多数決や平均で予測するアンサンブル学習の方法はどれ?
ブートストラップサンプリングで作った複数のデータセットで並列に学び、多数決(分類)や平均(回帰)でまとめるのはバギング。ブースティングと勾配ブースティングは、前のモデルの間違いを次のモデルが直すように順番に学ぶ方法。k-means法は教師なし学習のクラスタリング手法。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- scikit-learn User Guide「Ensembles: Gradient boosting, random forests, bagging, voting, stacking」
- Breiman「Bagging Predictors」(Technical Report No.421, 1994)
- Breiman「Random Forests」(2001)
- Google「Decision Forests: Gradient boosted decision trees」
- JDLA「G検定とは」(シラバス)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。