G検定 第6章|ディープラーニングの応用例

モデルの解釈性(説明可能AI)

AIがなぜそう判断したのか、のぞけるの?

会話で読んで3分

説明可能AI(XAI)LIMESHAPGrad-CAMCAMPermutation Importance

#1なぜ、AIに「理由」が必要なの?

ミコ

AIに「この画像は病気の可能性あり」って言われたら、理由も知りたい!

シオン

…ディープラーニングは、中の計算が複雑すぎて、理由が見えにくい。「ブラックボックス」。

シオン

…判断の理由を、人が分かる形で示す技術。「説明可能AI」、XAI。

ルナ

「なんで好きなの?」って聞いても答えてくれないカレ…ブラックボックスなの♡

ミコ

それは説明可能にしなくていいやつ!

説明が求められやすい場面
  • 医療(診断の支援)
  • お金の審査(融資など)
  • 採用・人事
  • 自動運転
  • モデルのまちがい探し・かたよりの確認
シオン

…人の人生にかかわる判断ほど、根拠を確かめたい。かたよりや、まちがった覚え方も見つけられる。

#2LIMEは、その1件のまわりだけ調べる

シオン

…まず「LIME」。2016年。どんな分類モデルにも使える。

シオン

…説明したい1件の入力を少しずつ変えて、予測がどう変わるかを見る。

ミコ

少しずつ変えるって? 画像なら、一部を隠してみるとか?

シオン

…そう。隠すと予測が大きく変わる場所が、判断に効いていた場所。

シオン

…その近くだけを、線形モデルのような分かりやすいモデルでまねする。

ミコ

全体じゃなくて、その1件の近所だけで考えるんだ!

ルナ

ルナも、カレのまわりの人にだけ聞きこみするの♡ 局所的に

ミコ

それは探偵!

#3SHAPは、手柄を公平に分ける

シオン

…次に「SHAP」。2017年。ゲーム理論の「シャープレイ値」を使う。

ミコ

ゲーム理論? 対戦ゲームの話?

シオン

…チームで勝ったとき、各メンバーの貢献を公平に分ける考え方。

シオン

…メンバーを特徴量に置きかえる。年収、年齢…どれが予測をどれだけ押し上げたか。

表のデータを説明する手法
何を見る?しくみ
LIME1件の予測近くを単純なモデルでまねる
SHAP1件(集めれば全体も)シャープレイ値で貢献を分ける
Permutation Importanceモデル全体1列をシャッフルして性能の落ち方を見る
ミコ

シャッフルして性能がガタ落ちしたら、その特徴は大事ってこと!

シオン

…そう。これもどんな学習済みモデルにも使える。

#4CAMとGrad-CAMは、画像の「見た場所」を色で出す

ミコ

画像のAIは? どこを見て「犬」って言ったか知りたい!

シオン

…「CAM」。2015年。CNNが注目した場所を、ヒートマップで示す。

シオン

…ただCAMは、ネットワークの形に条件がある。それをなくしたのが「Grad-CAM」。

Grad-CAMのしくみ
  1. 1画像をCNNに入れて、「犬」などの予測を出す
  2. 2その予測から、最後の畳み込み層へ向かう勾配を計算
  3. 3勾配の大きさで、各特徴マップに重みをつけて足し合わせる
  4. 4大事だった場所が赤くなるヒートマップを、画像に重ねる
ルナ

ルナの顔のどこを見て「かわいい」って判断したのか、色で出してほしいの♡

シオン

…たぶん、全体が青い。

ミコ

ひど! でも、背景の雪を見て「オオカミ」って判断してた、みたいなまちがいも見つかるね!

ミコのメモ(自分あて)

試験デンデン! 1問だけ

ゲーム理論の考え方を使い、ある予測に対して各特徴量がどれだけ貢献したかを公平に配分して説明する手法はどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第6章のレッスン

  1. 画像認識のタスク
  2. 代表的な画像認識モデル
  3. 統計的機械翻訳
  4. 自然言語処理と単語埋め込み
  5. Transformerと大規模言語モデル
  6. 音声処理
  7. 深層強化学習
  8. データ生成(GAN・拡散モデル)
  9. 転移学習・ファインチューニング
  10. マルチモーダル
  11. モデルの解釈性(説明可能AI)
  12. モデルの軽量化