G検定 第5章|ディープラーニングの要素技術

LSTMとGRU

RNNの「忘れっぽさ」を、ゲートでどう直したの?

会話で読んで3分

LSTMGRUゲート機構勾配消失問題勾配爆発問題

♪この章の曲ねえ、覚えてる?

サビで覚えて、下の会話で回収

#1RNNは、長い話が苦手

ミコ

前回のRNN、遠い過去ほど忘れるって言ってたよね!

シオン

…BPTTで過去へ誤差を戻すとき、同じ掛け算を何度もくり返す。

シオン

…1より小さい数を掛け続けると、0に近づく。「勾配消失問題」。

ミコ

じゃあ1より大きいと?

シオン

…どんどん大きくなる。「勾配爆発問題」。上限で切る「勾配クリッピング」で対処する。

ルナ

小さくなって消えるか、大きくなって爆発するか…恋みたいに極端なの♡

ミコ

恋のほうは、クリッピングできないもんね…

#2LSTMは「記憶の箱」と「ゲート」

シオン

…そこで「LSTM」。Long Short-Term Memory。1997年、ホッホライターとシュミットフーバー。

ミコ

なにが新しいの?

シオン

…「メモリセル」という記憶の箱を持つ。情報が掛け算で薄まらずに、長く残れる。

ミコ

掛け算で薄まらないなら、遠い過去の誤差もちゃんと届くんだ!

シオン

…箱への出し入れは「ゲート」が決める。0〜1の値で、どれだけ通すかを調整する。

いまのLSTMの3つのゲート
  1. 1忘却ゲート:箱の中の古い記憶を、どれだけ残すか決める
  2. 2入力ゲート:新しい情報を、どれだけ箱に書き込むか決める
  3. 3出力ゲート:箱の中身を、どれだけ外に出すか決める
ルナ

忘れることも、ちゃんと決めてるのね…ルナの元カレ専用ゲートもほしい♡

シオン

…なお、1997年の最初のLSTMに、忘却ゲートはなかった。

ミコ

え、いちばん大事そうなのに!?

シオン

…1999年にゲルスたちが追加した。いまふつうにLSTMと言えば、3つのゲート付き。

ゲートつきRNNの年表
  • 1997年LSTMの論文。入力ゲートと出力ゲート
  • 1999年忘却ゲートが加わる(Gersほか)
  • 2014年GRUの提案(Choほか)

#3GRUは、LSTMの軽量版

ミコ

LSTM、部品が多くてちょっと大変そう…もっとシンプルなのはないの?

シオン

…「GRU」。Gated Recurrent Unit。2014年、チョたち。

ミコ

LSTMとどうちがうの?

シオン

…ゲートは2つ。「リセットゲート」と「更新ゲート」。出力ゲートも、別の記憶の箱もない。

シオン

…GRUは、LSTMの忘却ゲートと入力ゲートを、1つの更新ゲートにまとめた形。

ミコ

まとめて1つ! だからゲートが2つで済むんだ!

LSTMとGRUのちがい
LSTMGRU
ゲート忘却・入力・出力の3つリセット・更新の2つ
記憶の持ち方メモリセル+隠れ状態隠れ状態だけ
パラメータ多め少なめ
ミコ

部品が少ないなら、GRUのほうが計算も軽いんだ!

シオン

…そう。性能は、課題によってはLSTMと同じくらい、という比較がある。

ルナ

ゲートが2つだけ…シンプルな人も、悪くないのね♡

ミコ

急に好みのタイプの話にしないで!

ミコのメモ(自分あて)

試験デンデン! 1問だけ

GRUがもつゲートの組み合わせとして、正しいものはどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第5章のレッスン

  1. 畳み込み層(CNN)
  2. プーリング層
  3. スキップ結合(ResNet)
  4. 正規化層
  5. 回帰結合層(RNN)
  6. LSTMとGRU
  7. AttentionとTransformer
  8. オートエンコーダ
  9. データ拡張