G検定 第5章|ディープラーニングの要素技術

スキップ結合(ResNet)

層を飛ばして足すだけで、なぜ深くできるの?

会話で読んで3分

スキップ結合ResNet残差学習勾配消失問題

♪この章の曲ねえ、覚えてる?

サビで覚えて、下の会話で回収

#1深くしたのに、悪くなる?

ミコ

ディープラーニングって、層を深くすればするほど賢くなるんでしょ?

シオン

…そう思われていた。でも、ただ積むと、ある深さから精度が下がった。

ミコ

え、待って。それって覚えすぎの過学習じゃないの?

シオン

…ちがう。訓練データでの精度まで下がった。うまく学習しきれていない。

ルナ

がんばって積み上げたのに、報われないなんて…ルナの手作りケーキみたい♡

ミコ

それは何段にしたの!?

シオン

…原因の1つは「勾配消失」。誤差が奥の層まで届きにくい。

シオン

…ただ論文は、勾配消失は初期値の工夫や正規化層でかなり解決済み、と書いている。

ミコ

じゃあ、残った「深いと下がる」問題を解いたのが…?

#2スキップ結合は「近道」

シオン

…「スキップ結合」。入力を数層ぶん飛ばして、出力に足し合わせる。

スキップ結合(残差ブロック)

y = F(x) + x

x:ブロックへの入力。F(x):途中の層が学習する部分(残差)。y:ブロックの出力。xをそのまま足すのがスキップ結合

ミコ

入力をそのまま足すだけ? シンプルすぎない!?

シオン

…だから強い。途中の層は「入力からの差」だけ学べばいい。これが「残差学習」。

ルナ

ありのままのルナに、ちょっとだけ足してくれればいいのね♡

シオン

…そう。何も足さなくていいなら、F(x)を0にすれば、入力がそのまま出る。

ミコ

そっか! 層を増やしても、最悪「何もしない層」になれるから悪くなりにくい!

ふつうの層とスキップ結合
ふつうに積むスキップ結合あり
層が学ぶもの出力そのもの入力との差(残差)
何もしない層作るのが難しいF(x)=0でなれる
誤差の通り道層を1つずつ通る近道も通れる

#3ResNetは152層

ミコ

このスキップ結合を使った有名なモデルが…?

シオン

…「ResNet」。Residual Network。2015年、マイクロソフトの研究チーム。

シオン

…最大152層。それまで深いと言われたVGGの約8倍。

ミコ

152層!? 高層ビルじゃん!

ResNetが出てくるまで
  • 2014年VGG(16〜19層)などが深さで精度を上げる
  • 2015年12月ResNetの論文がarXivに公開。最大152層
  • 2015年ResNetのアンサンブルがILSVRC 2015の画像分類で1位
ルナ

152階まで登っても息切れしないのね…エレベーター付きの恋がしたい♡

ミコ

恋にエレベーターはないよ!

#4形が合わないときは?

ミコ

でも足し算って、xとF(x)の形が同じじゃないとできないよね?

シオン

…正しい。形がちがうときは、1×1の畳み込みなどでxの形をそろえてから足す。

ミコ

このしくみ、ResNetのあとも使われてるの?

シオン

…今は標準部品。Transformerも、各層にスキップ結合を入れている。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

スキップ結合の説明として、正しいものはどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第5章のレッスン

  1. 畳み込み層(CNN)
  2. プーリング層
  3. スキップ結合(ResNet)
  4. 正規化層
  5. 回帰結合層(RNN)
  6. LSTMとGRU
  7. AttentionとTransformer
  8. オートエンコーダ
  9. データ拡張