♪この章の曲過去問オーバーフィット
サビで覚えて、下の会話で回収
#1成績は「しきい値」で変わる

前回の適合率と再現率、トレードオフなんでしょ? じゃあ結局どのAIが強いの!?

…多くの分類モデルは、「陽性っぽさ」を0〜1の点数で出す。

…何点から「陽性」と言うか。その線が、しきい値。

「好き度0.5以上なら告白する」みたいな?

…そう。線を下げれば告白は増える。空振りも増える。

線の位置しだいで成績が変わるなら、1つの数字じゃ比べられないじゃん!

…だから、線を全部の位置で動かして、まとめて描く。それがROC曲線。
#2縦軸は真陽性率、横軸は偽陽性率
| 式 | 意味 | |
|---|---|---|
| 縦軸:真陽性率 | TP÷(TP+FN) | 陽性を見つけた割合 |
| 横軸:偽陽性率 | FP÷(FP+TN) | 陰性を誤って陽性 |

え、待って。真陽性率って、前回の再現率と同じ式じゃん!

…同じ。偽陽性率は、本当は陰性の中で「陽性」と言っちゃった割合。

偽陽性率は、好きじゃない人にまで告白しちゃった割合ね…♡

ルナ、偽陽性率高そう!

ルナは真陽性率100%をめざしてるの♡

…全員に告白すれば、どっちも100%。それは意味がない。
#3左上にふくらむほど良いモデル
- 1しきい値を1つ決めて、真陽性率と偽陽性率を計算する
- 2その組を1つの点として打つ(横=偽陽性率、縦=真陽性率)
- 3しきい値を少しずつ変えて、点を打っていく
- 4点をつなぐと、(0,0) から (1,1) までの曲線になる

…いちばん良いのは左上の (0,1)。見逃しゼロで、空振りもゼロ。

だから左上にふくらんでるほど優秀なんだ!

…逆に、左下から右上へのまっすぐな対角線は、でたらめに当てるのと同じ。

じゃあ、ルナのコイン占いは対角線なのね♡

…それは、むしろ正直なモデル。
#4曲線の下の面積が「AUC」

…曲線の下の面積を1つの数字にしたのが、AUC。0〜1の値。
ROC曲線の下の面積。1.0は完ぺき、0.5はでたらめと同じ。陽性と陰性を1つずつ選んだとき、陽性のほうに高い点をつける確率と読める
Area Under the (ROC) Curve

しきい値を決めなくても比べられる! 便利!

モデルAがAUC0.9、モデルBが0.7なら、Aのほうが見分ける力が上ってこと?

…全体としては、そう。AUCはモデル同士の比較によく使う。

AUCが0.5より小さかったら?

…でたらめより悪い。予測が逆向きになってる疑い。

…ただし、実際に使うしきい値は、見逃しと空振りのどちらが痛いかで決める。
ミコのメモ(自分あて)
- ROC曲線=しきい値を動かして描く線既読
- 縦軸=真陽性率 TP÷(TP+FN)(再現率と同じ)既読
- 横軸=偽陽性率 FP÷(FP+TN)既読
- 左上ほど良い。対角線はでたらめと同じ既読
- AUC=ROC曲線の下の面積。1.0が最高、0.5はランダム既読
試験デンデン! 1問だけ
あるモデルのAUCが0.5だった。この結果の解釈として最も適切なものはどれ?
AUC=0.5はROC曲線が対角線になる状態で、陽性と陰性を見分ける力がランダムと同じ。AUCはしきい値を全部動かしたときの総合的な見分ける力なので、特定のしきい値での正解率や、適合率・再現率の値を表すものではない。データ中の陽性の割合とも別の話。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Google for Developers「Classification: ROC and AUC」
- Google for Developers「Classification: Accuracy, recall, precision, and related metrics」(TPR・FPRの式)
- Google for Developers「Thresholds and the confusion matrix」
- scikit-learn「Metrics and scoring」(Receiver operating characteristic)
「好き度」「告白」は、しきい値と偽陽性の関係を伝えるためのたとえ。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。