G検定 第6章|ディープラーニングの応用例

データ生成(GAN・拡散モデル)

AIはどうやって、ない画像を作るの?

会話で読んで3分

敵対的生成ネットワーク(GAN)Diffusion ModelPix2PixCycleGANNeRF画像生成

#1データ生成って、なにを作るの?

ミコ

今日は「データ生成」! AIが絵とか作るやつだよね!

シオン

…絵だけじゃない。画像、文章、音声。学んだデータに似た、新しいデータを作る。

ルナ

ルナの理想の彼氏の写真も、作れちゃうの…?♡

シオン

…作れる。ただし、実在しない。

データ生成の主なタスク
  • 画像生成
  • 文章生成
  • 音声生成
  • 画像の変換(線画→写真など)
  • 新しい視点からの画像(3D)

#2GANは、ニセモノ作りと見破り役の勝負

シオン

…まず「GAN」。敵対的生成ネットワーク。2014年、グッドフェローたちが提案。

シオン

…2つのネットワークを、同時に学ばせる。「生成器」と「識別器」。

ミコ

敵対的って、ケンカさせるってこと!?

GANの2つのネットワーク
生成器(G)識別器(D)
役わり本物っぽいデータを作る本物か作り物かを見分ける
目標Dをだますだまされない
たとえニセ札づくり警察
シオン

…生成器は、識別器がまちがえる確率を上げるように学ぶ。2人ゲーム。

ミコ

最後はどっちが勝つの?

シオン

…理論上のゴールは、識別器がどれにも「50%」としか言えない状態。

ルナ

本物かニセモノか分からない…ルナの元カレの「好き」みたい♡

ミコ

それはたぶんニセモノ!

#3GANの仲間たち

ミコ

GANにも種類があるの?

シオン

…ある。試験に出やすいのは3つ。

GANの代表的な発展形
しくみできること
DCGANCNNを使ったGAN画像生成を安定させた
Pix2Pixペアの画像で学ぶ線画→写真、白黒→カラー
CycleGANペアなしで学ぶ馬⇄シマウマ、写真⇄絵画風
ミコ

Pix2Pixはペアが要って、CycleGANはペアなし!

シオン

…CycleGANは、変換して、戻して、元に戻るかを確かめる。「サイクル一貫性」。

ルナ

行って戻って元どおり…♡ 別れても戻ってくる2人みたい

#4拡散モデルは、ノイズを消して描く

シオン

…もう1つの主役が「拡散モデル」。Diffusion Model。

シオン

…画像に少しずつノイズを足して、砂嵐にする。その逆、ノイズを消す手順を学ぶ。

ミコ

わざと汚して、きれいにする練習するんだ!

拡散モデルのしくみ
  1. 1学習:本物の画像に、少しずつノイズを足していく(拡散過程)
  2. 2どのくらいノイズが乗ったかを当て、取りのぞく方法を学ぶ
  3. 3生成:まっさらな砂嵐(ランダムなノイズ)から出発
  4. 4ノイズを少しずつ消すと、新しい画像が現れる
シオン

…考え方は2015年、高画質になったのは2020年のDDPMから。

シオン

…Stable Diffusionは、画像を小さな潜在空間にしてから拡散させる「潜在拡散モデル」。

ルナ

ぐちゃぐちゃな気持ちから、少しずつ答えを出すのね♡ ルナの恋と同じ

シオン

…あなたのは、ノイズのまま。

#5NeRFは、写真から3D空間を作る

ミコ

画像の次は、立体も作れるの?

シオン

…「NeRF」。いろんな角度の写真から、見たことのない角度の画像を作る。

シオン

…場所と見る向きを入れると、そこの色と密度を返すネットワークで、空間を覚える。

ミコ

観光地の写真から、歩き回れる3Dができそう!

シオン

…ただ、本物そっくりの偽画像も作れる。悪用への注意は、法律と倫理の章で。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

「馬の写真」と「シマウマの写真」のように、対応するペアがない2種類の画像集合だけから、画像の見た目を相互に変換できるように学習するモデルはどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第6章のレッスン

  1. 画像認識のタスク
  2. 代表的な画像認識モデル
  3. 統計的機械翻訳
  4. 自然言語処理と単語埋め込み
  5. Transformerと大規模言語モデル
  6. 音声処理
  7. 深層強化学習
  8. データ生成(GAN・拡散モデル)
  9. 転移学習・ファインチューニング
  10. マルチモーダル
  11. モデルの解釈性(説明可能AI)
  12. モデルの軽量化