♪この章の曲ねえ、覚えてる?
サビで覚えて、下の会話で回収
#1入力をそのまま出す練習

今日は「オートエンコーダ」! 名前がもう強そう!

…入力を、そのまま出力するように学ぶネットワーク。

え、そのまま出すだけ? 何もしてなくない!?

…途中が細い。入力をいったん小さく詰めて、そこから元に戻させる。
- 1エンコーダ:入力を、少ない数の値(潜在表現)に圧縮する
- 2デコーダ:その少ない値から、元の入力を作り直す
- 3元の入力と作り直したものの差(再構成誤差)が小さくなるように学ぶ

小さく折りたたんでも、元に戻れる…ルナの愛もそうなの♡

でも正解ラベルは? どこにもないじゃん!

…入力そのものが正解。だからラベルなしのデータで学べる。
#2細いところに、大事な特徴が残る

…細い真ん中には、元に戻すのに必要な特徴だけが残る。これが「次元削減」。

主成分分析(PCA)みたいなこと?

…近い。2006年、ヒントンたちは深いオートエンコーダがPCAよりうまく次元を減らせると示した。

…ほかにも、正常なデータだけで学ばせる使い方がある。

そしたら、ヘンなデータはうまく元に戻せない…だから異常が見つかる!

…そう。異常検知。
#3積層オートエンコーダと事前学習

元に戻せない子は、ちょっと変わった子…ルナのことかしら♡

自覚あるんだ!?

…歴史の話。オートエンコーダを1層ずつ積んで、順に学習させる方法があった。

…それを深いネットワークの初期値にしてから、全体を仕上げる。これが「事前学習」。

深いネットワークを、いきなり学習させないで、下ごしらえするんだ!

いきなり本命に告白しないで、1段ずつ距離をつめるのね♡

…2006年ごろ、深いネットワークを学習させるための下ごしらえとして注目された。
#4VAEは「新しく作れる」オートエンコーダ

…「変分オートエンコーダ」。VAE。2013年、キングマとウェリング。

ふつうのオートエンコーダと、何がちがうの?

…真ん中を1つの値ではなく、分布(平均とばらつき)で表す。そこから値を取り出して戻す。

分布から好きな値を取り出せば、見たことのない新しいデータが作れるってこと!?

…そう。だからVAEは生成モデル。亜種もシラバスに出る。
| しくみ | ねらい | |
|---|---|---|
| β-VAE(2017年) | 正則化の重みβを大きく | 要素ごとに分かれた表現 |
| VQ-VAE(2017年) | 潜在を離散的なコードに | 強いデコーダでも潜在を使う |
| InfoVAE(2017年) | 学習の目的を作り直す | 潜在が無視される問題を防ぐ |

ルナに似た女の子も、VAEで作れちゃう…? ライバルが増えるの♡

そこ心配するとこ!?
ミコのメモ(自分あて)
- オートエンコーダ=圧縮(エンコーダ)して元に戻す(デコーダ)既読
- 入力そのものが正解なので、ラベルなしで学べる既読
- 真ん中の細い層=次元削減。正常データで学べば異常検知既読
- 積層オートエンコーダ=1層ずつ学んで事前学習に使う既読
- VAE:2013年。潜在を分布で表し、新しいデータを生成既読
試験デンデン! 1問だけ
変分オートエンコーダ(VAE)の特徴として、正しいものはどれ?
VAEは潜在表現を平均とばらつきをもつ分布で表すので、そこから値を取り出して新しいデータを作れる。1つ目はVQ-VAE、3つ目は積層オートエンコーダによる事前学習、4つ目はデノイジング(雑音除去)オートエンコーダの説明。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Hinton, Salakhutdinov「Reducing the Dimensionality of Data with Neural Networks」(Science, 2006年)
- Bengio ほか「Greedy Layer-Wise Training of Deep Networks」(NIPS 2006)
- Kingma, Welling「Auto-Encoding Variational Bayes」(2013年・VAE)
- Burgess ほか「Understanding disentangling in β-VAE」(2018年・β-VAEの解説)
- van den Oord ほか「Neural Discrete Representation Learning」(2017年・VQ-VAE)
- Zhao, Song, Ermon「InfoVAE」(2017年)
- Wikipedia「Autoencoder」(異常検知・デノイジング)
- JDLA「G検定とは」(シラバス)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。