G検定 第5章|ディープラーニングの要素技術

オートエンコーダ

入力をそのまま出すだけのネットワークが、なぜ役に立つの?

会話で読んで3分

オートエンコーダ次元削減積層オートエンコーダ事前学習変分オートエンコーダ(VAE)VQ-VAE

♪この章の曲ねえ、覚えてる?

サビで覚えて、下の会話で回収

#1入力をそのまま出す練習

ミコ

今日は「オートエンコーダ」! 名前がもう強そう!

シオン

…入力を、そのまま出力するように学ぶネットワーク。

ミコ

え、そのまま出すだけ? 何もしてなくない!?

シオン

…途中が細い。入力をいったん小さく詰めて、そこから元に戻させる。

オートエンコーダのしくみ
  1. 1エンコーダ:入力を、少ない数の値(潜在表現)に圧縮する
  2. 2デコーダ:その少ない値から、元の入力を作り直す
  3. 3元の入力と作り直したものの差(再構成誤差)が小さくなるように学ぶ
ルナ

小さく折りたたんでも、元に戻れる…ルナの愛もそうなの♡

ミコ

でも正解ラベルは? どこにもないじゃん!

シオン

…入力そのものが正解。だからラベルなしのデータで学べる。

#2細いところに、大事な特徴が残る

シオン

…細い真ん中には、元に戻すのに必要な特徴だけが残る。これが「次元削減」。

ミコ

主成分分析(PCA)みたいなこと?

シオン

…近い。2006年、ヒントンたちは深いオートエンコーダがPCAよりうまく次元を減らせると示した。

シオン

…ほかにも、正常なデータだけで学ばせる使い方がある。

ミコ

そしたら、ヘンなデータはうまく元に戻せない…だから異常が見つかる!

シオン

…そう。異常検知。

#3積層オートエンコーダと事前学習

ルナ

元に戻せない子は、ちょっと変わった子…ルナのことかしら♡

ミコ

自覚あるんだ!?

シオン

…歴史の話。オートエンコーダを1層ずつ積んで、順に学習させる方法があった。

シオン

…それを深いネットワークの初期値にしてから、全体を仕上げる。これが「事前学習」。

ミコ

深いネットワークを、いきなり学習させないで、下ごしらえするんだ!

ルナ

いきなり本命に告白しないで、1段ずつ距離をつめるのね♡

シオン

…2006年ごろ、深いネットワークを学習させるための下ごしらえとして注目された。

#4VAEは「新しく作れる」オートエンコーダ

シオン

…「変分オートエンコーダ」。VAE。2013年、キングマとウェリング。

ミコ

ふつうのオートエンコーダと、何がちがうの?

シオン

…真ん中を1つの値ではなく、分布(平均とばらつき)で表す。そこから値を取り出して戻す。

ミコ

分布から好きな値を取り出せば、見たことのない新しいデータが作れるってこと!?

シオン

…そう。だからVAEは生成モデル。亜種もシラバスに出る。

VAEの亜種
しくみねらい
β-VAE(2017年)正則化の重みβを大きく要素ごとに分かれた表現
VQ-VAE(2017年)潜在を離散的なコードに強いデコーダでも潜在を使う
InfoVAE(2017年)学習の目的を作り直す潜在が無視される問題を防ぐ
ルナ

ルナに似た女の子も、VAEで作れちゃう…? ライバルが増えるの♡

ミコ

そこ心配するとこ!?

ミコのメモ(自分あて)

試験デンデン! 1問だけ

変分オートエンコーダ(VAE)の特徴として、正しいものはどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第5章のレッスン

  1. 畳み込み層(CNN)
  2. プーリング層
  3. スキップ結合(ResNet)
  4. 正規化層
  5. 回帰結合層(RNN)
  6. LSTMとGRU
  7. AttentionとTransformer
  8. オートエンコーダ
  9. データ拡張