♪この章の曲過去問オーバーフィット
サビで覚えて、下の会話で回収
#1グループに仕分けるのが「分類問題」

前回は数字を当てる回帰! 今日は仕分けるほう!

…「迷惑メールか、ふつうか」。データを決まったグループに分ける。分類問題。

…グループのことを「クラス」と呼ぶ。2つなら2値分類、3つ以上なら多クラス分類。
| 回帰問題 | 分類問題 | |
|---|---|---|
| 当てるもの | 数値(家賃・気温) | クラス(迷惑メールか) |
| 答えの形 | 連続した値 | 決まった選択肢 |
| 代表的な手法 | 線形回帰 | ロジスティック回帰・SVM |

ルナは「好き」と「大好き」の2クラスしかないの♡

それ、どっちも同じクラスじゃない!?
#2ロジスティック回帰は「確率」を出す

…1つ目、ロジスティック回帰。名前は回帰。でも分類に使う。

え、待って。回帰なのに分類!? ひっかけじゃん!

…中で、0から1の値=確率を計算する。それで分ける。

確率が出るなら、どれくらい自信があるかも分かるじゃん!
- 1特徴量に重みをかけて足し合わせる(線形回帰と同じ形)
- 2その値をシグモイド関数(ロジスティック関数)に通し、0〜1にする
- 3出てきた値を「迷惑メールである確率」として読む
- 4しきい値(例えば0.5)以上なら迷惑メールと判定

「脈あり確率80%」って言ってくれるのね♡

…言ってくれる。ただし学習データがあれば。
#3SVMは「すき間がいちばん広い線」を引く

…2つ目、サポートベクターマシン。SVM。

…2つのクラスの間に境界線を引く。ポイントは、どこに引くか。

分けられれば、どこでもよくない?

…よくない。境界線と、いちばん近いデータとの距離を「マージン」と呼ぶ。

…このマージンが最大になる線を選ぶ。新しいデータにも強くなりやすい。
境界線にいちばん近いところにあるデータ。境界線の位置は、このデータだけで決まる
Support Vector Machine の名前の由来

近すぎず、遠すぎず…♡ ちょうどいい距離感、ルナも見習うね

ルナはいつも距離ゼロだもんね!
#4まっすぐ分けられないときは「カーネルトリック」

でも、データがぐちゃっと混ざってて、直線で分けられなかったら?

…データを高い次元の空間に移したと考えると、平面で分けられることがある。

…その計算を、移さずに近道で済ませるのがカーネルトリック。使う関数がカーネル。

元の平面で見ると、くねっと曲がった境界線になるんだ!

…そう。だからSVMは、曲がった境界も引ける。

見方を変えたら、分かり合えるってことね♡

…今日いちばん、まともなこと言った。
ミコのメモ(自分あて)
- 分類問題=決まったクラスに仕分ける(教師あり)既読
- ロジスティック回帰は名前は回帰でも分類。確率を出す既読
- SVMはマージン(境界と一番近いデータの距離)を最大化既読
- カーネルトリックで、曲がった境界も引ける既読
試験デンデン! 1問だけ
サポートベクターマシン(SVM)が境界線を決めるときの考え方として、正しいものはどれ?
SVMはマージン最大化の考え方で、境界線と最も近いデータ(サポートベクター)との距離が最大になるように境界を決める。誤差の2乗の合計を最小にするのは線形回帰の最小二乗法。ほかの2つはSVMの考え方ではない。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- scikit-learn User Guide「Support Vector Machines」
- scikit-learn User Guide「Linear Models(Logistic regression)」
- Google「Machine Learning Crash Course: Logistic regression」
- Google「Machine Learning Crash Course: Classification」
- IBM「機械学習とは」(回帰と分類)
- JDLA「G検定とは」(シラバス)
「確率80%」やしきい値0.5は、説明のためのイメージです。しきい値は目的に合わせて変えられます。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。