#1なぜ、AIに「理由」が必要なの?

AIに「この画像は病気の可能性あり」って言われたら、理由も知りたい!

…ディープラーニングは、中の計算が複雑すぎて、理由が見えにくい。「ブラックボックス」。

…判断の理由を、人が分かる形で示す技術。「説明可能AI」、XAI。

「なんで好きなの?」って聞いても答えてくれないカレ…ブラックボックスなの♡

それは説明可能にしなくていいやつ!
- 医療(診断の支援)
- お金の審査(融資など)
- 採用・人事
- 自動運転
- モデルのまちがい探し・かたよりの確認

…人の人生にかかわる判断ほど、根拠を確かめたい。かたよりや、まちがった覚え方も見つけられる。
#2LIMEは、その1件のまわりだけ調べる

…まず「LIME」。2016年。どんな分類モデルにも使える。

…説明したい1件の入力を少しずつ変えて、予測がどう変わるかを見る。

少しずつ変えるって? 画像なら、一部を隠してみるとか?

…そう。隠すと予測が大きく変わる場所が、判断に効いていた場所。

…その近くだけを、線形モデルのような分かりやすいモデルでまねする。

全体じゃなくて、その1件の近所だけで考えるんだ!

ルナも、カレのまわりの人にだけ聞きこみするの♡ 局所的に

それは探偵!
#3SHAPは、手柄を公平に分ける

…次に「SHAP」。2017年。ゲーム理論の「シャープレイ値」を使う。

ゲーム理論? 対戦ゲームの話?

…チームで勝ったとき、各メンバーの貢献を公平に分ける考え方。

…メンバーを特徴量に置きかえる。年収、年齢…どれが予測をどれだけ押し上げたか。
| 何を見る? | しくみ | |
|---|---|---|
| LIME | 1件の予測 | 近くを単純なモデルでまねる |
| SHAP | 1件(集めれば全体も) | シャープレイ値で貢献を分ける |
| Permutation Importance | モデル全体 | 1列をシャッフルして性能の落ち方を見る |

シャッフルして性能がガタ落ちしたら、その特徴は大事ってこと!

…そう。これもどんな学習済みモデルにも使える。
#4CAMとGrad-CAMは、画像の「見た場所」を色で出す

画像のAIは? どこを見て「犬」って言ったか知りたい!

…「CAM」。2015年。CNNが注目した場所を、ヒートマップで示す。

…ただCAMは、ネットワークの形に条件がある。それをなくしたのが「Grad-CAM」。
- 1画像をCNNに入れて、「犬」などの予測を出す
- 2その予測から、最後の畳み込み層へ向かう勾配を計算
- 3勾配の大きさで、各特徴マップに重みをつけて足し合わせる
- 4大事だった場所が赤くなるヒートマップを、画像に重ねる

ルナの顔のどこを見て「かわいい」って判断したのか、色で出してほしいの♡

…たぶん、全体が青い。

ひど! でも、背景の雪を見て「オオカミ」って判断してた、みたいなまちがいも見つかるね!
ミコのメモ(自分あて)
- XAI=AIの判断の理由を人に分かる形で示す既読
- LIME=1件の近くを単純なモデルでまねて説明既読
- SHAP=シャープレイ値で特徴の貢献を公平に分ける既読
- Permutation Importance=列を混ぜて性能の落ち方を見る既読
- Grad-CAM=勾配を使い画像の注目場所をヒートマップに既読
試験デンデン! 1問だけ
ゲーム理論の考え方を使い、ある予測に対して各特徴量がどれだけ貢献したかを公平に配分して説明する手法はどれ?
SHAPはゲーム理論のシャープレイ値にもとづき、各特徴量の貢献度を配分する。Grad-CAMはCNNの勾配から画像の注目領域を可視化する手法、LIMEは説明したい1件の近くを分かりやすいモデルで近似する手法、Permutation Importanceは特徴量をシャッフルしたときの性能低下からモデル全体での重要度を測る手法。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Ribeiro ほか「"Why Should I Trust You?": Explaining the Predictions of Any Classifier」(LIME・arXiv・2016年)
- Lundberg・Lee「A Unified Approach to Interpreting Model Predictions」(SHAP・arXiv・2017年)
- Zhou ほか「Learning Deep Features for Discriminative Localization」(CAM・arXiv・2015年)
- Selvaraju ほか「Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization」(arXiv・2016年)
- scikit-learn「Permutation feature importance」
- DARPA「Explainable Artificial Intelligence(XAI)」
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。