G検定 第3章|機械学習の概要

分類問題(ロジスティック回帰とSVM)

迷惑メールかどうか、AIはどうやって仕分けてるの?

会話で読んで3分

分類問題ロジスティック回帰サポートベクターマシン(SVM)マージン最大化カーネルトリック多クラス分類

♪この章の曲過去問オーバーフィット

サビで覚えて、下の会話で回収

#1グループに仕分けるのが「分類問題」

ミコ

前回は数字を当てる回帰! 今日は仕分けるほう!

シオン

…「迷惑メールか、ふつうか」。データを決まったグループに分ける。分類問題。

シオン

…グループのことを「クラス」と呼ぶ。2つなら2値分類、3つ以上なら多クラス分類。

回帰問題と分類問題
回帰問題分類問題
当てるもの数値(家賃・気温)クラス(迷惑メールか)
答えの形連続した値決まった選択肢
代表的な手法線形回帰ロジスティック回帰・SVM
ルナ

ルナは「好き」と「大好き」の2クラスしかないの♡

ミコ

それ、どっちも同じクラスじゃない!?

#2ロジスティック回帰は「確率」を出す

シオン

…1つ目、ロジスティック回帰。名前は回帰。でも分類に使う。

ミコ

え、待って。回帰なのに分類!? ひっかけじゃん!

シオン

…中で、0から1の値=確率を計算する。それで分ける。

ミコ

確率が出るなら、どれくらい自信があるかも分かるじゃん!

ロジスティック回帰の流れ
  1. 1特徴量に重みをかけて足し合わせる(線形回帰と同じ形)
  2. 2その値をシグモイド関数(ロジスティック関数)に通し、0〜1にする
  3. 3出てきた値を「迷惑メールである確率」として読む
  4. 4しきい値(例えば0.5)以上なら迷惑メールと判定
ルナ

「脈あり確率80%」って言ってくれるのね♡

シオン

…言ってくれる。ただし学習データがあれば。

#3SVMは「すき間がいちばん広い線」を引く

シオン

…2つ目、サポートベクターマシン。SVM。

シオン

…2つのクラスの間に境界線を引く。ポイントは、どこに引くか。

ミコ

分けられれば、どこでもよくない?

シオン

…よくない。境界線と、いちばん近いデータとの距離を「マージン」と呼ぶ。

シオン

…このマージンが最大になる線を選ぶ。新しいデータにも強くなりやすい。

サポートベクター

境界線にいちばん近いところにあるデータ。境界線の位置は、このデータだけで決まる

Support Vector Machine の名前の由来

ルナ

近すぎず、遠すぎず…♡ ちょうどいい距離感、ルナも見習うね

ミコ

ルナはいつも距離ゼロだもんね!

#4まっすぐ分けられないときは「カーネルトリック」

ミコ

でも、データがぐちゃっと混ざってて、直線で分けられなかったら?

シオン

…データを高い次元の空間に移したと考えると、平面で分けられることがある。

シオン

…その計算を、移さずに近道で済ませるのがカーネルトリック。使う関数がカーネル。

ミコ

元の平面で見ると、くねっと曲がった境界線になるんだ!

シオン

…そう。だからSVMは、曲がった境界も引ける。

ルナ

見方を変えたら、分かり合えるってことね♡

シオン

…今日いちばん、まともなこと言った。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

サポートベクターマシン(SVM)が境界線を決めるときの考え方として、正しいものはどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

「確率80%」やしきい値0.5は、説明のためのイメージです。しきい値は目的に合わせて変えられます。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第3章のレッスン

  1. 機械学習の3つのタイプ
  2. 回帰問題と線形回帰
  3. 回帰モデルの評価指標(MAE・MSE・RMSE)
  4. 分類問題(ロジスティック回帰とSVM)
  5. 決定木
  6. アンサンブル学習(バギングとブースティング)
  7. クラスタリング(k-means法と階層的クラスタリング)
  8. 次元削減(主成分分析とt-SNE)
  9. レコメンデーション(推薦システム)
  10. 強化学習
  11. 強化学習の代表的な手法(SARSA・方策勾配法・MARL)
  12. モデルの評価指標(混同行列・適合率・再現率・F値)
  13. ROC曲線とAUC
  14. 過学習と汎化性能
  15. 交差検証とホールドアウト検証