♪この章の曲過去問オーバーフィット
サビで覚えて、下の会話で回収
#1まずは「混同行列」で4つに分ける

AIの成績って、正解率を見ればいいんでしょ? テストの点数みたいに!

…それだけだと、だまされる。まずは結果を4つに分ける。混同行列。
| 本当は陽性 | 本当は陰性 | |
|---|---|---|
| 予測:陽性 | 真陽性 TP(正しく発見) | 偽陽性 FP(空振り) |
| 予測:陰性 | 偽陰性 FN(見逃し) | 真陰性 TN(正しく陰性) |

「好き」って言われて本当に好きだったら真陽性♡ 本当は好きじゃなかったら…

…偽陽性。言わせないで。

見逃しが偽陰性、空振りが偽陽性ね! 覚えた!
#2正解率の落とし穴

…正解率は、全体のうち当たった割合。(TP+TN)÷全部。

…でも、1000人中10人だけ病気のデータで、全員「陰性」と言うAIを作ると?

990人は当たってるから…正解率99%!? すご…くない! 病気の人、全員見逃してる!

…そう。陽性がとても少ないデータでは、正解率だけで判断しない。

数字はいいのに中身がないなんて…♡ 見た目だけの人みたい
#3適合率と再現率は「何を避けたいか」

…適合率は、「陽性」と言ったうち、本当に陽性だった割合。空振りの少なさ。

…再現率は、本当の陽性のうち、ちゃんと見つけた割合。見逃しの少なさ。
| 式 | 意味 | |
|---|---|---|
| 正解率 | (TP+TN)÷全体 | 全体で当たった割合 |
| 適合率 | TP÷(TP+FP) | 陽性予測の確かさ |
| 再現率 | TP÷(TP+FN) | 陽性を見逃さない力 |

がん検診は見逃しが怖いから再現率! 迷惑メール判定は、大事なメールを消すと困るから適合率!

…正解。ふつうは、片方を上げるともう片方が下がりやすい。トレードオフ。

なんで両方いっしょに上げられないの?

…「陽性」の基準を甘くすると見逃しは減るけど、空振りが増える。厳しくすると逆。
#4両方まとめて見る「F値」

じゃあ、両方のバランスを1つの数字で見たいときは?

…F値。適合率と再現率の調和平均。
F値 = 2 × 適合率 × 再現率 ÷(適合率 + 再現率)
0〜1の値で、1が最高。どちらか一方が極端に低いとF値も低くなる

片方だけ高くてもダメなんだ! 調和平均、きびしい!

適合率1.0、再現率0.1でも、ふつうの平均なら0.55なのに…

…F値だと約0.18。片方だけ得意、は許されない。
#5数値を当てる問題は「誤差」で測る

でも、明日の気温みたいに数字を当てるときは、陽性も陰性もないよね?

…そのとき(回帰)は、予測と正解の差=誤差で測る。
| 計算 | 特徴 | |
|---|---|---|
| MSE | 誤差の2乗の平均 | 大きな外れに厳しい |
| RMSE | MSEの平方根 | 元の単位にもどる |
| MAE | 誤差の絶対値の平均 | 外れ値の影響が小さめ |

全部、小さいほど良い成績ってことね!

…そう。分類は混同行列、回帰は誤差。まずそこを分けて。
ミコのメモ(自分あて)
- 混同行列=TP・FP・FN・TNの4マス既読
- 適合率=TP÷(TP+FP)。空振りの少なさ既読
- 再現率=TP÷(TP+FN)。見逃しの少なさ既読
- F値=適合率と再現率の調和平均既読
- 回帰はMSE・RMSE・MAE(小さいほど良い)既読
試験デンデン! 1問だけ
あるモデルの結果は、TP=40、FP=10、FN=40、TN=910だった。このモデルの適合率と再現率の組み合わせとして正しいものはどれ?
適合率=TP÷(TP+FP)=40÷50=0.8、再現率=TP÷(TP+FN)=40÷80=0.5。1つめは2つの式を取り違えたもの。0.95は正解率((40+910)÷1000=0.95)で、適合率でも再現率でもない。正解率が高くても、陽性の半分を見逃していることに注意。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Google for Developers「Classification: Accuracy, recall, precision, and related metrics」
- Google for Developers「Thresholds and the confusion matrix」
- scikit-learn「Metrics and scoring」(Precision, recall and F-measures/Regression metrics)
- Google for Developers「Linear regression: Loss」(MAE・MSE・RMSE)
- JDLA「G検定(ジェネラリスト検定)とは」(シラバス)
「1000人中10人が病気」の数字は説明のためのイメージ。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。