G検定 第3章|機械学習の概要

モデルの評価指標(混同行列・適合率・再現率・F値)

正解率99%なのに「使えない」ってどういうこと?

会話で読んで4分

混同行列正解率適合率再現率F値平均二乗誤差(MSE)

♪この章の曲過去問オーバーフィット

サビで覚えて、下の会話で回収

#1まずは「混同行列」で4つに分ける

ミコ

AIの成績って、正解率を見ればいいんでしょ? テストの点数みたいに!

シオン

…それだけだと、だまされる。まずは結果を4つに分ける。混同行列。

混同行列(病気の検査のたとえ)
本当は陽性本当は陰性
予測:陽性真陽性 TP(正しく発見)偽陽性 FP(空振り)
予測:陰性偽陰性 FN(見逃し)真陰性 TN(正しく陰性)
ルナ

「好き」って言われて本当に好きだったら真陽性♡ 本当は好きじゃなかったら…

シオン

…偽陽性。言わせないで。

ミコ

見逃しが偽陰性、空振りが偽陽性ね! 覚えた!

#2正解率の落とし穴

シオン

…正解率は、全体のうち当たった割合。(TP+TN)÷全部。

シオン

…でも、1000人中10人だけ病気のデータで、全員「陰性」と言うAIを作ると?

ミコ

990人は当たってるから…正解率99%!? すご…くない! 病気の人、全員見逃してる!

シオン

…そう。陽性がとても少ないデータでは、正解率だけで判断しない。

ルナ

数字はいいのに中身がないなんて…♡ 見た目だけの人みたい

#3適合率と再現率は「何を避けたいか」

シオン

…適合率は、「陽性」と言ったうち、本当に陽性だった割合。空振りの少なさ。

シオン

…再現率は、本当の陽性のうち、ちゃんと見つけた割合。見逃しの少なさ。

3つの指標の式
式意味
正解率(TP+TN)÷全体全体で当たった割合
適合率TP÷(TP+FP)陽性予測の確かさ
再現率TP÷(TP+FN)陽性を見逃さない力
ミコ

がん検診は見逃しが怖いから再現率! 迷惑メール判定は、大事なメールを消すと困るから適合率!

シオン

…正解。ふつうは、片方を上げるともう片方が下がりやすい。トレードオフ。

ルナ

なんで両方いっしょに上げられないの?

シオン

…「陽性」の基準を甘くすると見逃しは減るけど、空振りが増える。厳しくすると逆。

#4両方まとめて見る「F値」

ミコ

じゃあ、両方のバランスを1つの数字で見たいときは?

シオン

…F値。適合率と再現率の調和平均。

F値(F1スコア)

F値 = 2 × 適合率 × 再現率 ÷(適合率 + 再現率)

0〜1の値で、1が最高。どちらか一方が極端に低いとF値も低くなる

ミコ

片方だけ高くてもダメなんだ! 調和平均、きびしい!

ルナ

適合率1.0、再現率0.1でも、ふつうの平均なら0.55なのに…

シオン

…F値だと約0.18。片方だけ得意、は許されない。

#5数値を当てる問題は「誤差」で測る

ルナ

でも、明日の気温みたいに数字を当てるときは、陽性も陰性もないよね?

シオン

…そのとき(回帰)は、予測と正解の差=誤差で測る。

回帰の評価指標
計算特徴
MSE誤差の2乗の平均大きな外れに厳しい
RMSEMSEの平方根元の単位にもどる
MAE誤差の絶対値の平均外れ値の影響が小さめ
ミコ

全部、小さいほど良い成績ってことね!

シオン

…そう。分類は混同行列、回帰は誤差。まずそこを分けて。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

あるモデルの結果は、TP=40、FP=10、FN=40、TN=910だった。このモデルの適合率と再現率の組み合わせとして正しいものはどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

「1000人中10人が病気」の数字は説明のためのイメージ。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第3章のレッスン

  1. 機械学習の3つのタイプ
  2. 回帰問題と線形回帰
  3. 回帰モデルの評価指標(MAE・MSE・RMSE)
  4. 分類問題(ロジスティック回帰とSVM)
  5. 決定木
  6. アンサンブル学習(バギングとブースティング)
  7. クラスタリング(k-means法と階層的クラスタリング)
  8. 次元削減(主成分分析とt-SNE)
  9. レコメンデーション(推薦システム)
  10. 強化学習
  11. 強化学習の代表的な手法(SARSA・方策勾配法・MARL)
  12. モデルの評価指標(混同行列・適合率・再現率・F値)
  13. ROC曲線とAUC
  14. 過学習と汎化性能
  15. 交差検証とホールドアウト検証