♪この章の曲ねえ、覚えてる?
サビで覚えて、下の会話で回収
#1RNNは「さっきの自分」を持ち歩く

今日は「回帰結合層」! 回帰って、数学で線を引くやつ?

…ちがう。英語では recurrent。「くり返し戻る」つながり。

…前の時刻の隠れ層の状態を、次の時刻の計算に戻す。これを持つのがRNN。

「わたしは きのう」まで読んだら、次を読むときに前の内容も使えるってこと?

…そう。だから順番に意味があるデータに強い。「時系列データ」。
- 文章
- 音声
- 株価
- 気温の記録
- 動画
- センサーの値

昨日のことをずっと覚えててくれるの? 理想の相手…♡

…ただし、遠い過去ほど忘れる。それは次回。
#2エルマンとジョルダン、戻すものがちがう

戻し方にも種類があるの?

…古典的な2つ。エルマンネットワークと、ジョルダンネットワーク。
| エルマン | ジョルダン | |
|---|---|---|
| 提案 | 1990年 エルマン | 1986年 ジョルダン |
| 次の時刻に戻すもの | 隠れ層の出力 | 出力層の出力 |
| 共通点 | 単純RNN(SRN)と呼ばれる | 単純RNN(SRN)と呼ばれる |

エルマンは心の中を、ジョルダンは口に出したことを覚えておくのね♡

それ、けっこう分かりやすい!

…どちらも、ふつうの全結合のネットワークに、前の状態を覚えておく場所を足した形。

覚えておく場所…ルナの心にも、ずっと前の会話をしまってあるの♡

それはもう、メモリじゃなくて執念!
#3BPTTは、時間を広げて逆伝播

でも、ぐるっと戻るつながりって、どうやって学習するの?

…時間の方向に広げる。同じ層を時刻の数だけ横に並べた、長い1本のネットワークと見る。

…そこに誤差逆伝播をかける。「BPTT」。Backpropagation Through Time。
- 1RNNを時刻ごとに展開して、横に長いネットワークにする(重みは全時刻で共通)
- 2最初の時刻から順に、出力と誤差を計算する
- 3最後の時刻から過去へ向かって、誤差を逆に伝える
- 4全時刻の勾配を足し合わせて、共通の重みを更新する

時刻が長いと、すごく長いネットワークになっちゃわない?

…なる。だから途中で区切ることも多い。それに、長いと勾配が消えたり、爆発したりする。

過去をさかのぼりすぎると、心が爆発するのね…わかる♡

わからないで! 勾配の話だから!
#4教師強制と双方向RNN

…学習のコツを1つ。「教師強制」。

…次の時刻の入力に、自分の予測ではなく、正解を入れて学習する。

最初に1語まちがえても、後ろまで引きずらないってことか!

…そう。もう1つ、前からと後ろからの2本のRNNを使う「双方向RNN」もある。1997年。

文の最後まで読んでから、最初の言葉の意味を決めるのね♡

…正確。ただし文が全部そろっていないと使えない。
ミコのメモ(自分あて)
- 回帰結合=前の時刻の状態を次の時刻に戻すつながり既読
- エルマン=隠れ層を戻す、ジョルダン=出力層を戻す既読
- BPTT=時間方向に展開して誤差逆伝播既読
- 教師強制=次の入力に予測ではなく正解を入れる既読
- 双方向RNN=前からと後ろからの2本既読
試験デンデン! 1問だけ
RNNの学習で、次の時刻の入力に、モデル自身が出した予測ではなく正解のデータを与える方法は?
教師強制は、学習中に正解を次の入力として与え、序盤のまちがいが後ろに連鎖しないようにする方法。BPTTは時間方向に展開して誤差逆伝播する学習の計算法、双方向RNNは前向きと後ろ向きの2本のRNNを使う構造、勾配クリッピングは勾配が大きくなりすぎたとき上限で切る勾配爆発の対策。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Dive into Deep Learning「9.7 Backpropagation Through Time」
- Dive into Deep Learning「10.4 Bidirectional Recurrent Neural Networks」
- Dive into Deep Learning「10.7 Sequence-to-Sequence Learning」(教師強制)
- Pascanu, Mikolov, Bengio「On the difficulty of training Recurrent Neural Networks」(2012年)
- Wikipedia「Recurrent neural network」(エルマン/ジョルダンネットワーク)
- JDLA「G検定とは」(シラバス)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。