♪この章の曲過去問オーバーフィット
サビで覚えて、下の会話で回収
#1決定木は「質問ゲーム」

今日は決定木! 木? 植物?

…ちがう。「はい・いいえ」の質問をくり返して、答えにたどり着くモデル。

「ルナのこと好き?」「はい」「大好き?」「はい」…みたいな?♡

…形は合ってる。中身は捨てて。
- 1根:先月のログインは10回以上?
- 2はい → 続けそう/いいえ → 次の質問へ
- 3枝:おすすめ通知をオンにしている?
- 4はい → 続けそう/いいえ → やめそう(葉=最後の答え)

根っこから枝分かれして、最後の葉っぱが答え! だから「木」なんだ!

…そう。分類にも、回帰にも使える。
#2どの質問から聞くかは「不純度」で決める

でも、質問の順番ってどうやって決めるの?

…分けたあとのグループが、なるべく「1種類だけ」になる質問を選ぶ。

…グループの混ざり具合を「不純度」と呼ぶ。ジニ不純度やエントロピーで測る。
1つのグループに、ちがうクラスがどれだけ混ざっているかの度合い。全部同じクラスなら0
代表的な測り方:ジニ不純度(Gini impurity)、エントロピー(entropy)

混ざりものがないのが一番…♡ ルナの心もピュアなの

ルナの心、いろんな人が混ざってるでしょ!
#3長所は「理由が説明できる」こと

…決定木のいちばんの長所。なぜその答えになったか、たどれる。

「ログインが少なくて、通知もオフだから、やめそう」って言えるんだ!

…そう。中が見えるので「ホワイトボックス」のモデルと呼ばれる。

理由を説明してくれる人って、誠実でステキ♡

お金を貸すかどうかの審査みたいに、理由が大事な場面で使えそう!
#4弱点は「覚えすぎ」と「ぶれやすさ」

…ただし弱点がある。木を深くしすぎると、学習データを丸暗記する。

丸暗記! テストの問題が変わると解けないやつだ!

…それが過学習。深さを制限したり、枝を刈ったりして防ぐ。

…もう1つ。データが少し変わるだけで、まったくちがう木になることがある。

ちょっとのことで気持ちが変わるなんて…ルナより不安定なの?♡

そこで張り合わないで!
#51本で不安なら、たくさん集める

…そこで、決定木をたくさん作って組み合わせる。アンサンブル学習。
- ランダムフォレスト
- 勾配ブースティング
- バギング
- ブースティング

1本だとぶれるけど、みんなで決めれば安定する、ってこと?

…そう。くわしくは、次。
ミコのメモ(自分あて)
- 決定木=「はい/いいえ」の質問をくり返して答えを出す既読
- 質問は不純度(ジニ・エントロピー)が下がるように選ぶ既読
- 長所:判断の理由が説明しやすい(ホワイトボックス)既読
- 弱点:過学習しやすく、データで木がぶれやすい既読
試験デンデン! 1問だけ
決定木の特徴として、もっとも適切なものはどれ?
決定木は質問の分かれ道をたどれば判断の理由が分かるので、説明しやすい(解釈性が高い)。一方で、データが少し変わると別の木になりやすく(不安定)、深くしすぎると過学習する。決定木は正解ラベルを使う教師あり学習の手法で、分類にも回帰にも使える。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- scikit-learn User Guide「Decision Trees」
- Google「Decision Forests: Decision trees」
- scikit-learn User Guide「Ensembles」
- JDLA「G検定とは」(シラバス)
会員を続けるかどうかの質問の例は、説明のためのイメージです。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。