#1答えは出るのに、理由が見えない

AIって答えは教えてくれるけど、理由はよく分かんないことない?

…ある。特にディープラーニングは、何百万もの数字が絡みあって答えを出す。

…入力と出力は見えるのに、途中が人には読めない。だから「ブラックボックス」。

「なんで好きなの?」って聞いても「なんとなく」しか返ってこない感じ…♡

それはそれで、ちょっとうれしいやつ!

…恋なら許される。融資の審査なら、許されない。
#2透明性と説明可能性はちがう

透明性と説明可能性って、同じ意味じゃないの?
| 透明性 | 説明可能性 | |
|---|---|---|
| 答える問い | 何が起きた? 何を使ってる? | なぜその判断になった? |
| 例 | AIを使っている事実・データの集め方 | 「借入額が年収に比べて大きい」 |
| 相手 | 利用者・社会・規制当局 | 判断を受けた本人・担当者 |

…透明性は、AIについて必要な情報を開くこと。使っている事実、データ、能力と限界。

…説明可能性は、その判断がどうやって出たのかを、人が分かる形で示せること。

しくみを見せるのが透明性、理由を言えるのが説明可能性!

…ただし、ソースコードを全部公開しろ、という意味ではない。国のガイドラインもそう書いている。

全部は見せなくていいなら、ルナのひみつも守れるのね♡

AIの話だってば!
#3どうして説明が必要なの?

でも、当たってるなら理由はいらなくない?

…融資を断られた人は、理由が分からないと直しようがない。不公平かどうかも確かめられない。

…医療でも、AIの結果を医師が確かめて、患者さんに説明する必要がある。

理由を言ってくれないお別れは、いちばんつらいの…♡

ルナ、今日はめずらしく本質ついてる!

…EUでは法律にもある。GDPRの第22条や、AI法の第86条。日本は主にガイドラインで求めている。
#4AIの中をのぞく技術「XAI」

じゃあ、ブラックボックスの中は、どうやってのぞくの?

…それが説明可能なAI、XAI。判断の根拠を、人が分かる形で示す技術。
- LIME(2016年):1件の予測のまわりを、簡単なモデルでまねて説明
- SHAP(2017年):どの特徴がどれだけ効いたかを数値で示す
- Grad-CAM(2016年):画像のどこを見て判断したかを色で示す

…LIMEとSHAPは、表のデータにも画像にも使える。Grad-CAMは画像のCNN向け。

猫の画像なら「耳のあたりを見て猫と判断しました」って色で出るんだ!

…それと「データの来歴」。どこから来た、どんなデータで学んだかの記録。
学習や評価に使ったデータの出どころ・集め方・加工の経緯の記録。偏りや権利の問題をあとからたどれるようにする
data provenance ── 判断の記録を追えるようにする「トレーサビリティ」とセットで求められる

ルナの元カレ遍歴も、来歴として全部記録してあるの♡

…それは、見せなくていい。
ミコのメモ(自分あて)
- ディープラーニングは途中が読めない=ブラックボックス既読
- 透明性=AIの利用事実・データ・限界などの情報を開く既読
- 説明可能性=その判断がなぜ出たかを人が分かる形で示す既読
- XAIの例:LIME・SHAP・Grad-CAM既読
- データの来歴=学習データの出どころと経緯の記録既読
試験デンデン! 1問だけ
画像を分類するニューラルネットワークについて、判断のときに画像のどの部分に注目したかをヒートマップで示す手法はどれ?
Grad-CAMは、勾配の情報を使って、画像のどの領域が判断に効いたかを色の濃さで示す手法。LIMEは1件の予測のまわりを単純なモデルで近似して説明する手法、SHAPは各特徴量が予測にどれだけ寄与したかを数値で示す手法で、どちらも画像に限らず使える。差分プライバシーは説明の技術ではなく、ノイズで個人のデータを守る考え方。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- 総務省「AI事業者ガイドライン」第1.2版 本編(2026年3月31日公表。6) 透明性・7) アカウンタビリティ)
- Ribeiro ほか「"Why Should I Trust You?": Explaining the Predictions of Any Classifier」(LIME、arXiv、2016年)
- Lundberg・Lee「A Unified Approach to Interpreting Model Predictions」(SHAP、arXiv、2017年)
- Selvaraju ほか「Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization」(arXiv、2016年)
- GDPR 第22条(プロファイリングを含む自動化された個人の意思決定)
- EU AI Act 第86条(個々の意思決定について説明を受ける権利)
2026年10月時点の情報です。融資審査の「借入額が年収に比べて大きい」は説明のためのイメージです。EUのAI法第86条は高リスクAIによる判断が対象で、高リスクAIの義務の適用は2027年12月以降に延期されています。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。