G検定 第3章|機械学習の概要

ROC曲線とAUC

しきい値を変えると成績が変わる…じゃあ何で比べるの?

会話で読んで3分

ROC曲線AUC真陽性率偽陽性率しきい値

♪この章の曲過去問オーバーフィット

サビで覚えて、下の会話で回収

#1成績は「しきい値」で変わる

ミコ

前回の適合率と再現率、トレードオフなんでしょ? じゃあ結局どのAIが強いの!?

シオン

…多くの分類モデルは、「陽性っぽさ」を0〜1の点数で出す。

シオン

…何点から「陽性」と言うか。その線が、しきい値。

ルナ

「好き度0.5以上なら告白する」みたいな?

シオン

…そう。線を下げれば告白は増える。空振りも増える。

ミコ

線の位置しだいで成績が変わるなら、1つの数字じゃ比べられないじゃん!

シオン

…だから、線を全部の位置で動かして、まとめて描く。それがROC曲線。

#2縦軸は真陽性率、横軸は偽陽性率

ROC曲線の2つの軸
式意味
縦軸:真陽性率TP÷(TP+FN)陽性を見つけた割合
横軸:偽陽性率FP÷(FP+TN)陰性を誤って陽性
ミコ

え、待って。真陽性率って、前回の再現率と同じ式じゃん!

シオン

…同じ。偽陽性率は、本当は陰性の中で「陽性」と言っちゃった割合。

ルナ

偽陽性率は、好きじゃない人にまで告白しちゃった割合ね…♡

ミコ

ルナ、偽陽性率高そう!

ルナ

ルナは真陽性率100%をめざしてるの♡

シオン

…全員に告白すれば、どっちも100%。それは意味がない。

#3左上にふくらむほど良いモデル

ROC曲線の描き方
  1. 1しきい値を1つ決めて、真陽性率と偽陽性率を計算する
  2. 2その組を1つの点として打つ(横=偽陽性率、縦=真陽性率)
  3. 3しきい値を少しずつ変えて、点を打っていく
  4. 4点をつなぐと、(0,0) から (1,1) までの曲線になる
シオン

…いちばん良いのは左上の (0,1)。見逃しゼロで、空振りもゼロ。

ミコ

だから左上にふくらんでるほど優秀なんだ!

シオン

…逆に、左下から右上へのまっすぐな対角線は、でたらめに当てるのと同じ。

ルナ

じゃあ、ルナのコイン占いは対角線なのね♡

シオン

…それは、むしろ正直なモデル。

#4曲線の下の面積が「AUC」

シオン

…曲線の下の面積を1つの数字にしたのが、AUC。0〜1の値。

AUC

ROC曲線の下の面積。1.0は完ぺき、0.5はでたらめと同じ。陽性と陰性を1つずつ選んだとき、陽性のほうに高い点をつける確率と読める

Area Under the (ROC) Curve

ミコ

しきい値を決めなくても比べられる! 便利!

ミコ

モデルAがAUC0.9、モデルBが0.7なら、Aのほうが見分ける力が上ってこと?

シオン

…全体としては、そう。AUCはモデル同士の比較によく使う。

ルナ

AUCが0.5より小さかったら?

シオン

…でたらめより悪い。予測が逆向きになってる疑い。

シオン

…ただし、実際に使うしきい値は、見逃しと空振りのどちらが痛いかで決める。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

あるモデルのAUCが0.5だった。この結果の解釈として最も適切なものはどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

「好き度」「告白」は、しきい値と偽陽性の関係を伝えるためのたとえ。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第3章のレッスン

  1. 機械学習の3つのタイプ
  2. 回帰問題と線形回帰
  3. 回帰モデルの評価指標(MAE・MSE・RMSE)
  4. 分類問題(ロジスティック回帰とSVM)
  5. 決定木
  6. アンサンブル学習(バギングとブースティング)
  7. クラスタリング(k-means法と階層的クラスタリング)
  8. 次元削減(主成分分析とt-SNE)
  9. レコメンデーション(推薦システム)
  10. 強化学習
  11. 強化学習の代表的な手法(SARSA・方策勾配法・MARL)
  12. モデルの評価指標(混同行列・適合率・再現率・F値)
  13. ROC曲線とAUC
  14. 過学習と汎化性能
  15. 交差検証とホールドアウト検証