♪この章の曲ねえ、覚えてる?
サビで覚えて、下の会話で回収
#1RNNは、長い話が苦手

前回のRNN、遠い過去ほど忘れるって言ってたよね!

…BPTTで過去へ誤差を戻すとき、同じ掛け算を何度もくり返す。

…1より小さい数を掛け続けると、0に近づく。「勾配消失問題」。

じゃあ1より大きいと?

…どんどん大きくなる。「勾配爆発問題」。上限で切る「勾配クリッピング」で対処する。

小さくなって消えるか、大きくなって爆発するか…恋みたいに極端なの♡

恋のほうは、クリッピングできないもんね…
#2LSTMは「記憶の箱」と「ゲート」

…そこで「LSTM」。Long Short-Term Memory。1997年、ホッホライターとシュミットフーバー。

なにが新しいの?

…「メモリセル」という記憶の箱を持つ。情報が掛け算で薄まらずに、長く残れる。

掛け算で薄まらないなら、遠い過去の誤差もちゃんと届くんだ!

…箱への出し入れは「ゲート」が決める。0〜1の値で、どれだけ通すかを調整する。
- 1忘却ゲート:箱の中の古い記憶を、どれだけ残すか決める
- 2入力ゲート:新しい情報を、どれだけ箱に書き込むか決める
- 3出力ゲート:箱の中身を、どれだけ外に出すか決める

忘れることも、ちゃんと決めてるのね…ルナの元カレ専用ゲートもほしい♡

…なお、1997年の最初のLSTMに、忘却ゲートはなかった。

え、いちばん大事そうなのに!?

…1999年にゲルスたちが追加した。いまふつうにLSTMと言えば、3つのゲート付き。
- 1997年LSTMの論文。入力ゲートと出力ゲート
- 1999年忘却ゲートが加わる(Gersほか)
- 2014年GRUの提案(Choほか)
#3GRUは、LSTMの軽量版

LSTM、部品が多くてちょっと大変そう…もっとシンプルなのはないの?

…「GRU」。Gated Recurrent Unit。2014年、チョたち。

LSTMとどうちがうの?

…ゲートは2つ。「リセットゲート」と「更新ゲート」。出力ゲートも、別の記憶の箱もない。

…GRUは、LSTMの忘却ゲートと入力ゲートを、1つの更新ゲートにまとめた形。

まとめて1つ! だからゲートが2つで済むんだ!
| LSTM | GRU | |
|---|---|---|
| ゲート | 忘却・入力・出力の3つ | リセット・更新の2つ |
| 記憶の持ち方 | メモリセル+隠れ状態 | 隠れ状態だけ |
| パラメータ | 多め | 少なめ |

部品が少ないなら、GRUのほうが計算も軽いんだ!

…そう。性能は、課題によってはLSTMと同じくらい、という比較がある。

ゲートが2つだけ…シンプルな人も、悪くないのね♡

急に好みのタイプの話にしないで!
ミコのメモ(自分あて)
- 勾配消失=掛け算で0に近づく。勾配爆発=大きくなりすぎる既読
- 勾配爆発には勾配クリッピング既読
- LSTM:1997年。メモリセル+忘却・入力・出力ゲート既読
- 忘却ゲートは後から(1999年)追加された既読
- GRU:2014年。リセットゲートと更新ゲートの2つ既読
試験デンデン! 1問だけ
GRUがもつゲートの組み合わせとして、正しいものはどれ?
GRUはリセットゲートと更新ゲートの2つで、出力ゲートを持たない。忘却・入力・出力の3つは現在ふつうに使われるLSTM、入力と出力だけは1997年の最初のLSTM。クエリ・キー・バリューはAttentionで使う3つの要素で、ゲートではない。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Hochreiter, Schmidhuber「Long Short-Term Memory」(Neural Computation, 1997年)
- Greff ほか「LSTM: A Search Space Odyssey」(2015年・LSTMの変遷と忘却ゲートの追加)
- Cho ほか「Learning Phrase Representations using RNN Encoder-Decoder …」(2014年・GRU)
- Chung ほか「Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling」(2014年)
- Pascanu, Mikolov, Bengio「On the difficulty of training Recurrent Neural Networks」(2012年)
- Dive into Deep Learning「10.1 Long Short-Term Memory (LSTM)」
- Dive into Deep Learning「10.2 Gated Recurrent Units (GRU)」
- JDLA「G検定とは」(シラバス)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。