#1安全性とセキュリティ、何がちがう?

今日のテーマは「AIの安全性とセキュリティ」! どっちも「守る」じゃないの?

…安全性は、AIが事故や誤作動で、人や物を傷つけないこと。

…セキュリティは、悪意ある攻撃で、AIを勝手に変えられたり止められたりしないこと。

ルナの心も、誰にも勝手に書きかえられたくないの♡

ルナの心はセキュリティ固すぎて、誰も入れないやつ!
#2見た目は同じなのに、AIだけがだまされる

…まず有名な実験。パンダの写真に、人には見えない細かいノイズを足す。

…するとAIは、99.3%の自信で「テナガザル」と答えた。2014年の論文。

え、待って。わたしたちが見たら、どう見てもパンダなんでしょ!?

…ノイズは適当じゃない。AIがいちばん間違えやすい向きに、わざと計算して作る。
入力にわずかな細工をしたAdversarial Examples(敵対的サンプル)で、AIに誤った判断をさせる攻撃
パンダの例は Goodfellow ほか(2014)。元の写真は57.7%の自信で「パンダ」と答えていた

…画面の中だけじゃない。本物の停止標識に白黒のシールを貼る実験もある。

…研究用の標識認識AIが「制限速度45」と誤認。走る車から撮った映像でも約85%のコマで。

シール1枚で別人に見えちゃうなんて…♡ ルナのメイクと同じなの

メイクは攻撃じゃないから!
#3データとモデルを狙う攻撃

だますのは入力だけ? ほかにもあるの?

…ある。学ぶ前のデータに細工するのが「データ汚染」。ポイズニングとも言う。

…何度も質問して、答えの出し方をまねてそっくりなモデルを作るのが「モデル窃取」。

質問ぜめでルナのことを丸ごとコピーするなんて…♡ それはもう愛なの

…それは、窃盗。
| 何をする? | 被害 | |
|---|---|---|
| データ汚染 | 学習データに細工を混ぜる | 特定の入力で誤った答え |
| モデル汚染 | 細工したモデルを使わせる | 組み込んだAIが不正な動き |
| モデル窃取 | 何度も質問してそっくりに複製 | 苦労して作ったモデルを盗まれる |
| データ窃取 | モデルから学習データを引き出す | 個人情報などの流出 |

データ窃取ってなに? データって、AIの中に残ってるの?

…質問のしかたで、学習した文章をそのまま出させる研究がある。名前や電話番号まで出た。
#4守り方は「最初から」

こわっ! じゃあどうやって守るの?

…基本は「セキュリティ・バイ・デザイン」。企画・設計の段階からセキュリティを確保する考え方。

家を建ててからカギを考えるんじゃなくて、設計図に最初からカギを描くってことね!
- 1学習データの出どころと信頼性を確かめる(データ汚染対策)
- 2敵対的サンプルも混ぜて学習させ、だまされにくくする(敵対的学習)
- 3質問の回数を制限し、余計な情報を出さない(モデル窃取対策)
- 4外から使うモデルの信頼性を確かめてから組み込む(モデル汚染対策)
- 5新しい攻撃の情報を追いかけ、対策を見直し続ける

…ただし、AIの弱点を完全になくすことはできない。国のガイドラインもそう書いている。

完ぺきじゃないから、見守り続けるのね♡ 子育てと同じなの

そのたとえ、今日はわりと合ってる!
ミコのメモ(自分あて)
- 敵対的サンプル=人には見えない細工でAIを誤らせる入力既読
- データ汚染=学習データに細工。モデル汚染=細工したモデル既読
- モデル窃取=何度も質問して、そっくりなモデルを複製既読
- データ窃取=モデルから学習データ(個人情報など)を引き出す既読
- セキュリティ・バイ・デザイン=企画・設計の段階から守る既読
試験デンデン! 1問だけ
公開されているAIに大量の質問を送り、その答え方を分析して、元のAIとそっくりな働きをするモデルを作る攻撃はどれ?
モデル窃取(モデル抽出攻撃)は、外から質問をくり返してモデルの働きを複製する攻撃。データ汚染は学習データに細工を混ぜる攻撃、Adversarial Attackは入力にわずかな細工をして誤った判断をさせる攻撃。セキュリティ・バイ・デザインは攻撃ではなく、企画・設計の段階からセキュリティを確保する考え方。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Goodfellow ほか「Explaining and Harnessing Adversarial Examples」(arXiv、2014年)
- Eykholt ほか「Robust Physical-World Attacks on Deep Learning Models」(arXiv、2017年)
- Tramèr ほか「Stealing Machine Learning Models via Prediction APIs」(arXiv、2016年)
- Carlini ほか「Extracting Training Data from Large Language Models」(arXiv、2020年)
- 総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」の公表(2026年3月27日)
- 総務省「AI事業者ガイドライン」掲載ページ(第1.2版・2026年3月31日公表)
- IPA「セキュリティ・バイ・デザインとアシュアランスケース」(SEC journal)
2026年10月時点の情報です。停止標識の実験は研究用の標識認識モデルに対するもので、市販の自動運転車で起きた事故の報告ではありません。「約85%」は論文の走行実験の84.8%を丸めた値です。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。