♪この章の曲ねえ、覚えてる?
サビで覚えて、下の会話で回収
#1深くしたのに、悪くなる?

ディープラーニングって、層を深くすればするほど賢くなるんでしょ?

…そう思われていた。でも、ただ積むと、ある深さから精度が下がった。

え、待って。それって覚えすぎの過学習じゃないの?

…ちがう。訓練データでの精度まで下がった。うまく学習しきれていない。

がんばって積み上げたのに、報われないなんて…ルナの手作りケーキみたい♡

それは何段にしたの!?

…原因の1つは「勾配消失」。誤差が奥の層まで届きにくい。

…ただ論文は、勾配消失は初期値の工夫や正規化層でかなり解決済み、と書いている。

じゃあ、残った「深いと下がる」問題を解いたのが…?
#2スキップ結合は「近道」

…「スキップ結合」。入力を数層ぶん飛ばして、出力に足し合わせる。
y = F(x) + x
x:ブロックへの入力。F(x):途中の層が学習する部分(残差)。y:ブロックの出力。xをそのまま足すのがスキップ結合

入力をそのまま足すだけ? シンプルすぎない!?

…だから強い。途中の層は「入力からの差」だけ学べばいい。これが「残差学習」。

ありのままのルナに、ちょっとだけ足してくれればいいのね♡

…そう。何も足さなくていいなら、F(x)を0にすれば、入力がそのまま出る。

そっか! 層を増やしても、最悪「何もしない層」になれるから悪くなりにくい!
| ふつうに積む | スキップ結合あり | |
|---|---|---|
| 層が学ぶもの | 出力そのもの | 入力との差(残差) |
| 何もしない層 | 作るのが難しい | F(x)=0でなれる |
| 誤差の通り道 | 層を1つずつ通る | 近道も通れる |
#3ResNetは152層

このスキップ結合を使った有名なモデルが…?

…「ResNet」。Residual Network。2015年、マイクロソフトの研究チーム。

…最大152層。それまで深いと言われたVGGの約8倍。

152層!? 高層ビルじゃん!
- 2014年VGG(16〜19層)などが深さで精度を上げる
- 2015年12月ResNetの論文がarXivに公開。最大152層
- 2015年ResNetのアンサンブルがILSVRC 2015の画像分類で1位

152階まで登っても息切れしないのね…エレベーター付きの恋がしたい♡

恋にエレベーターはないよ!
#4形が合わないときは?

でも足し算って、xとF(x)の形が同じじゃないとできないよね?

…正しい。形がちがうときは、1×1の畳み込みなどでxの形をそろえてから足す。

このしくみ、ResNetのあとも使われてるの?

…今は標準部品。Transformerも、各層にスキップ結合を入れている。
ミコのメモ(自分あて)
- スキップ結合=入力を数層飛ばして出力に足す既読
- 残差学習:y=F(x)+x。層は「入力との差」を学ぶ既読
- F(x)=0なら入力がそのまま出る→深くしても悪化しにくい既読
- ResNet:2015年、最大152層、ILSVRC 2015で1位既読
試験デンデン! 1問だけ
スキップ結合の説明として、正しいものはどれ?
スキップ結合は入力xを数層先の出力に足し、y=F(x)+xの形にする(ResNetで有名)。1つ目はバッチ正規化、2つ目はRNNの回帰結合、3つ目はRandom ErasingやCutoutなどのデータ拡張の説明。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- He ほか「Deep Residual Learning for Image Recognition」(2015年・ResNet)
- Simonyan, Zisserman「Very Deep Convolutional Networks for Large-Scale Image Recognition」(2014年・VGG)
- Dive into Deep Learning「8.6 Residual Networks (ResNet) and ResNeXt」
- Vaswani ほか「Attention Is All You Need」(2017年・Transformer)
- JDLA「G検定とは」(シラバス)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。