#1データ生成って、なにを作るの?

今日は「データ生成」! AIが絵とか作るやつだよね!

…絵だけじゃない。画像、文章、音声。学んだデータに似た、新しいデータを作る。

ルナの理想の彼氏の写真も、作れちゃうの…?♡

…作れる。ただし、実在しない。
- 画像生成
- 文章生成
- 音声生成
- 画像の変換(線画→写真など)
- 新しい視点からの画像(3D)
#2GANは、ニセモノ作りと見破り役の勝負

…まず「GAN」。敵対的生成ネットワーク。2014年、グッドフェローたちが提案。

…2つのネットワークを、同時に学ばせる。「生成器」と「識別器」。

敵対的って、ケンカさせるってこと!?
| 生成器(G) | 識別器(D) | |
|---|---|---|
| 役わり | 本物っぽいデータを作る | 本物か作り物かを見分ける |
| 目標 | Dをだます | だまされない |
| たとえ | ニセ札づくり | 警察 |

…生成器は、識別器がまちがえる確率を上げるように学ぶ。2人ゲーム。

最後はどっちが勝つの?

…理論上のゴールは、識別器がどれにも「50%」としか言えない状態。

本物かニセモノか分からない…ルナの元カレの「好き」みたい♡

それはたぶんニセモノ!
#3GANの仲間たち

GANにも種類があるの?

…ある。試験に出やすいのは3つ。
| しくみ | できること | |
|---|---|---|
| DCGAN | CNNを使ったGAN | 画像生成を安定させた |
| Pix2Pix | ペアの画像で学ぶ | 線画→写真、白黒→カラー |
| CycleGAN | ペアなしで学ぶ | 馬⇄シマウマ、写真⇄絵画風 |

Pix2Pixはペアが要って、CycleGANはペアなし!

…CycleGANは、変換して、戻して、元に戻るかを確かめる。「サイクル一貫性」。

行って戻って元どおり…♡ 別れても戻ってくる2人みたい
#4拡散モデルは、ノイズを消して描く

…もう1つの主役が「拡散モデル」。Diffusion Model。

…画像に少しずつノイズを足して、砂嵐にする。その逆、ノイズを消す手順を学ぶ。

わざと汚して、きれいにする練習するんだ!
- 1学習:本物の画像に、少しずつノイズを足していく(拡散過程)
- 2どのくらいノイズが乗ったかを当て、取りのぞく方法を学ぶ
- 3生成:まっさらな砂嵐(ランダムなノイズ)から出発
- 4ノイズを少しずつ消すと、新しい画像が現れる

…考え方は2015年、高画質になったのは2020年のDDPMから。

…Stable Diffusionは、画像を小さな潜在空間にしてから拡散させる「潜在拡散モデル」。

ぐちゃぐちゃな気持ちから、少しずつ答えを出すのね♡ ルナの恋と同じ

…あなたのは、ノイズのまま。
#5NeRFは、写真から3D空間を作る

画像の次は、立体も作れるの?

…「NeRF」。いろんな角度の写真から、見たことのない角度の画像を作る。

…場所と見る向きを入れると、そこの色と密度を返すネットワークで、空間を覚える。

観光地の写真から、歩き回れる3Dができそう!

…ただ、本物そっくりの偽画像も作れる。悪用への注意は、法律と倫理の章で。
ミコのメモ(自分あて)
- GAN=生成器と識別器を競わせる(2014年)既読
- Pix2Pix=ペアあり、CycleGAN=ペアなし既読
- 拡散モデル=ノイズを足す→消す手順を学ぶ既読
- NeRF=複数の写真から新しい視点の画像を作る既読
試験デンデン! 1問だけ
「馬の写真」と「シマウマの写真」のように、対応するペアがない2種類の画像集合だけから、画像の見た目を相互に変換できるように学習するモデルはどれ?
CycleGANは、変換して元に戻したときに元の画像に戻るか(サイクル一貫性)を使い、ペアなしで変換を学ぶ。Pix2Pixは線画と写真のような対応するペアの画像が必要。DCGANはCNNを使ったGANで変換専用ではない。NeRFは複数視点の写真から新しい視点の画像を作る手法。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Goodfellow ほか「Generative Adversarial Networks」(arXiv・2014年)
- Radford ほか「Unsupervised Representation Learning with Deep Convolutional GANs」(arXiv・2015年)
- Isola ほか「Image-to-Image Translation with Conditional Adversarial Networks」(Pix2Pix・arXiv・2016年)
- Zhu ほか「Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks」(CycleGAN・arXiv・2017年)
- Sohl-Dickstein ほか「Deep Unsupervised Learning using Nonequilibrium Thermodynamics」(arXiv・2015年)
- Ho ほか「Denoising Diffusion Probabilistic Models」(arXiv・2020年)
- Rombach ほか「High-Resolution Image Synthesis with Latent Diffusion Models」(arXiv・2021年)
- Mildenhall ほか「NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis」(arXiv・2020年)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。