G検定 第3章|機械学習の概要

決定木

「もし〜なら」をくり返すだけで、AIになるの?

会話で読んで3分

決定木不純度過学習解釈性アンサンブル学習

♪この章の曲過去問オーバーフィット

サビで覚えて、下の会話で回収

#1決定木は「質問ゲーム」

ミコ

今日は決定木! 木? 植物?

シオン

…ちがう。「はい・いいえ」の質問をくり返して、答えにたどり着くモデル。

ルナ

「ルナのこと好き?」「はい」「大好き?」「はい」…みたいな?♡

シオン

…形は合ってる。中身は捨てて。

決定木で「この人は会員を続けそう?」を判断するイメージ
  1. 1根:先月のログインは10回以上?
  2. 2はい → 続けそう/いいえ → 次の質問へ
  3. 3枝:おすすめ通知をオンにしている?
  4. 4はい → 続けそう/いいえ → やめそう(葉=最後の答え)
ミコ

根っこから枝分かれして、最後の葉っぱが答え! だから「木」なんだ!

シオン

…そう。分類にも、回帰にも使える。

#2どの質問から聞くかは「不純度」で決める

ミコ

でも、質問の順番ってどうやって決めるの?

シオン

…分けたあとのグループが、なるべく「1種類だけ」になる質問を選ぶ。

シオン

…グループの混ざり具合を「不純度」と呼ぶ。ジニ不純度やエントロピーで測る。

不純度

1つのグループに、ちがうクラスがどれだけ混ざっているかの度合い。全部同じクラスなら0

代表的な測り方:ジニ不純度(Gini impurity)、エントロピー(entropy)

ルナ

混ざりものがないのが一番…♡ ルナの心もピュアなの

ミコ

ルナの心、いろんな人が混ざってるでしょ!

#3長所は「理由が説明できる」こと

シオン

…決定木のいちばんの長所。なぜその答えになったか、たどれる。

ミコ

「ログインが少なくて、通知もオフだから、やめそう」って言えるんだ!

シオン

…そう。中が見えるので「ホワイトボックス」のモデルと呼ばれる。

ルナ

理由を説明してくれる人って、誠実でステキ♡

ミコ

お金を貸すかどうかの審査みたいに、理由が大事な場面で使えそう!

#4弱点は「覚えすぎ」と「ぶれやすさ」

シオン

…ただし弱点がある。木を深くしすぎると、学習データを丸暗記する。

ミコ

丸暗記! テストの問題が変わると解けないやつだ!

シオン

…それが過学習。深さを制限したり、枝を刈ったりして防ぐ。

シオン

…もう1つ。データが少し変わるだけで、まったくちがう木になることがある。

ルナ

ちょっとのことで気持ちが変わるなんて…ルナより不安定なの?♡

ミコ

そこで張り合わないで!

#51本で不安なら、たくさん集める

シオン

…そこで、決定木をたくさん作って組み合わせる。アンサンブル学習。

決定木を組み合わせる代表的な手法(次回)
  • ランダムフォレスト
  • 勾配ブースティング
  • バギング
  • ブースティング
ミコ

1本だとぶれるけど、みんなで決めれば安定する、ってこと?

シオン

…そう。くわしくは、次。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

決定木の特徴として、もっとも適切なものはどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

会員を続けるかどうかの質問の例は、説明のためのイメージです。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第3章のレッスン

  1. 機械学習の3つのタイプ
  2. 回帰問題と線形回帰
  3. 回帰モデルの評価指標(MAE・MSE・RMSE)
  4. 分類問題(ロジスティック回帰とSVM)
  5. 決定木
  6. アンサンブル学習(バギングとブースティング)
  7. クラスタリング(k-means法と階層的クラスタリング)
  8. 次元削減(主成分分析とt-SNE)
  9. レコメンデーション(推薦システム)
  10. 強化学習
  11. 強化学習の代表的な手法(SARSA・方策勾配法・MARL)
  12. モデルの評価指標(混同行列・適合率・再現率・F値)
  13. ROC曲線とAUC
  14. 過学習と汎化性能
  15. 交差検証とホールドアウト検証