G検定 第5章|ディープラーニングの要素技術

回帰結合層(RNN)

前の時刻を覚えているネットワークって、どういうしくみ?

会話で読んで3分

回帰結合層リカレントニューラルネットワーク(RNN)時系列データBPTTエルマンネットワーク教師強制

♪この章の曲ねえ、覚えてる?

サビで覚えて、下の会話で回収

#1RNNは「さっきの自分」を持ち歩く

ミコ

今日は「回帰結合層」! 回帰って、数学で線を引くやつ?

シオン

…ちがう。英語では recurrent。「くり返し戻る」つながり。

シオン

…前の時刻の隠れ層の状態を、次の時刻の計算に戻す。これを持つのがRNN。

ミコ

「わたしは きのう」まで読んだら、次を読むときに前の内容も使えるってこと?

シオン

…そう。だから順番に意味があるデータに強い。「時系列データ」。

時系列データの例(順番に意味がある)
  • 文章
  • 音声
  • 株価
  • 気温の記録
  • 動画
  • センサーの値
ルナ

昨日のことをずっと覚えててくれるの? 理想の相手…♡

シオン

…ただし、遠い過去ほど忘れる。それは次回。

#2エルマンとジョルダン、戻すものがちがう

ミコ

戻し方にも種類があるの?

シオン

…古典的な2つ。エルマンネットワークと、ジョルダンネットワーク。

初期の2つのRNN
エルマンジョルダン
提案1990年 エルマン1986年 ジョルダン
次の時刻に戻すもの隠れ層の出力出力層の出力
共通点単純RNN(SRN)と呼ばれる単純RNN(SRN)と呼ばれる
ルナ

エルマンは心の中を、ジョルダンは口に出したことを覚えておくのね♡

ミコ

それ、けっこう分かりやすい!

シオン

…どちらも、ふつうの全結合のネットワークに、前の状態を覚えておく場所を足した形。

ルナ

覚えておく場所…ルナの心にも、ずっと前の会話をしまってあるの♡

ミコ

それはもう、メモリじゃなくて執念!

#3BPTTは、時間を広げて逆伝播

ミコ

でも、ぐるっと戻るつながりって、どうやって学習するの?

シオン

…時間の方向に広げる。同じ層を時刻の数だけ横に並べた、長い1本のネットワークと見る。

シオン

…そこに誤差逆伝播をかける。「BPTT」。Backpropagation Through Time。

BPTTの流れ
  1. 1RNNを時刻ごとに展開して、横に長いネットワークにする(重みは全時刻で共通)
  2. 2最初の時刻から順に、出力と誤差を計算する
  3. 3最後の時刻から過去へ向かって、誤差を逆に伝える
  4. 4全時刻の勾配を足し合わせて、共通の重みを更新する
ミコ

時刻が長いと、すごく長いネットワークになっちゃわない?

シオン

…なる。だから途中で区切ることも多い。それに、長いと勾配が消えたり、爆発したりする。

ルナ

過去をさかのぼりすぎると、心が爆発するのね…わかる♡

ミコ

わからないで! 勾配の話だから!

#4教師強制と双方向RNN

シオン

…学習のコツを1つ。「教師強制」。

シオン

…次の時刻の入力に、自分の予測ではなく、正解を入れて学習する。

ミコ

最初に1語まちがえても、後ろまで引きずらないってことか!

シオン

…そう。もう1つ、前からと後ろからの2本のRNNを使う「双方向RNN」もある。1997年。

ルナ

文の最後まで読んでから、最初の言葉の意味を決めるのね♡

シオン

…正確。ただし文が全部そろっていないと使えない。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

RNNの学習で、次の時刻の入力に、モデル自身が出した予測ではなく正解のデータを与える方法は?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第5章のレッスン

  1. 畳み込み層(CNN)
  2. プーリング層
  3. スキップ結合(ResNet)
  4. 正規化層
  5. 回帰結合層(RNN)
  6. LSTMとGRU
  7. AttentionとTransformer
  8. オートエンコーダ
  9. データ拡張