G検定 第8章|AIの法律と倫理

AIの安全性とセキュリティ

AIって、だまされたり盗まれたりするの?

会話で読んで3分

Adversarial Attackデータ汚染モデル汚染モデル窃取データ窃取セキュリティ・バイ・デザイン

#1安全性とセキュリティ、何がちがう?

ミコ

今日のテーマは「AIの安全性とセキュリティ」! どっちも「守る」じゃないの?

シオン

…安全性は、AIが事故や誤作動で、人や物を傷つけないこと。

シオン

…セキュリティは、悪意ある攻撃で、AIを勝手に変えられたり止められたりしないこと。

ルナ

ルナの心も、誰にも勝手に書きかえられたくないの♡

ミコ

ルナの心はセキュリティ固すぎて、誰も入れないやつ!

#2見た目は同じなのに、AIだけがだまされる

シオン

…まず有名な実験。パンダの写真に、人には見えない細かいノイズを足す。

シオン

…するとAIは、99.3%の自信で「テナガザル」と答えた。2014年の論文。

ミコ

え、待って。わたしたちが見たら、どう見てもパンダなんでしょ!?

シオン

…ノイズは適当じゃない。AIがいちばん間違えやすい向きに、わざと計算して作る。

Adversarial Attack(敵対的攻撃)

入力にわずかな細工をしたAdversarial Examples(敵対的サンプル)で、AIに誤った判断をさせる攻撃

パンダの例は Goodfellow ほか(2014)。元の写真は57.7%の自信で「パンダ」と答えていた

シオン

…画面の中だけじゃない。本物の停止標識に白黒のシールを貼る実験もある。

シオン

…研究用の標識認識AIが「制限速度45」と誤認。走る車から撮った映像でも約85%のコマで。

ルナ

シール1枚で別人に見えちゃうなんて…♡ ルナのメイクと同じなの

ミコ

メイクは攻撃じゃないから!

#3データとモデルを狙う攻撃

ミコ

だますのは入力だけ? ほかにもあるの?

シオン

…ある。学ぶ前のデータに細工するのが「データ汚染」。ポイズニングとも言う。

シオン

…何度も質問して、答えの出し方をまねてそっくりなモデルを作るのが「モデル窃取」。

ルナ

質問ぜめでルナのことを丸ごとコピーするなんて…♡ それはもう愛なの

シオン

…それは、窃盗。

AIを狙う主な攻撃
何をする?被害
データ汚染学習データに細工を混ぜる特定の入力で誤った答え
モデル汚染細工したモデルを使わせる組み込んだAIが不正な動き
モデル窃取何度も質問してそっくりに複製苦労して作ったモデルを盗まれる
データ窃取モデルから学習データを引き出す個人情報などの流出
ミコ

データ窃取ってなに? データって、AIの中に残ってるの?

シオン

…質問のしかたで、学習した文章をそのまま出させる研究がある。名前や電話番号まで出た。

#4守り方は「最初から」

ミコ

こわっ! じゃあどうやって守るの?

シオン

…基本は「セキュリティ・バイ・デザイン」。企画・設計の段階からセキュリティを確保する考え方。

ミコ

家を建ててからカギを考えるんじゃなくて、設計図に最初からカギを描くってことね!

AIを守る対策の例
  1. 1学習データの出どころと信頼性を確かめる(データ汚染対策)
  2. 2敵対的サンプルも混ぜて学習させ、だまされにくくする(敵対的学習)
  3. 3質問の回数を制限し、余計な情報を出さない(モデル窃取対策)
  4. 4外から使うモデルの信頼性を確かめてから組み込む(モデル汚染対策)
  5. 5新しい攻撃の情報を追いかけ、対策を見直し続ける
シオン

…ただし、AIの弱点を完全になくすことはできない。国のガイドラインもそう書いている。

ルナ

完ぺきじゃないから、見守り続けるのね♡ 子育てと同じなの

ミコ

そのたとえ、今日はわりと合ってる!

ミコのメモ(自分あて)

試験デンデン! 1問だけ

公開されているAIに大量の質問を送り、その答え方を分析して、元のAIとそっくりな働きをするモデルを作る攻撃はどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

2026年10月時点の情報です。停止標識の実験は研究用の標識認識モデルに対するもので、市販の自動運転車で起きた事故の報告ではありません。「約85%」は論文の走行実験の84.8%を丸めた値です。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第8章のレッスン

  1. 個人情報保護法
  2. 仮名加工情報・匿名加工情報とGDPR
  3. 著作権法とAI(学習・生成・AI生成物)
  4. 特許法と不正競争防止法(営業秘密・限定提供データ)
  5. 独占禁止法とAI開発契約
  6. AI倫理・AIガバナンスと国内外のガイドライン
  7. AIの公平性
  8. AIの安全性とセキュリティ
  9. AIとプライバシー
  10. AI技術の悪用(ディープフェイクとフェイクニュース)
  11. AIの透明性と説明可能性
  12. 環境保護・労働政策・その他の重要な価値
  13. AIガバナンスの実践