G検定 第5章|ディープラーニングの要素技術

プーリング層

特徴マップを小さくまとめるって、どういうこと?

会話で読んで3分

プーリング層最大値プーリング平均値プーリング不変性の獲得グローバルアベレージプーリング(GAP)

♪この章の曲ねえ、覚えてる?

サビで覚えて、下の会話で回収

#1プーリングは「区画ごとの代表えらび」

ミコ

前回は畳み込みで特徴マップを作った! 今日はその続き!

シオン

…特徴マップを小さくまとめる層。「プーリング層」。

ルナ

プール? ルナ、水着を新しくしなきゃ♡

シオン

…泳がない。マップを2×2などの区画に分けて、区画ごとに1つの値を選ぶ。

ミコ

4マスが1マスになるってこと? 縦も横も半分!

シオン

…そう。2×2の区画を、重ならないように2マスずつずらすと、半分になる。

#2最大値と平均値、どうちがう?

ミコ

代表って、どうやって選ぶの? じゃんけん?

シオン

…いちばん大きい値を選ぶのが「最大値プーリング」。

シオン

…区画の平均をとるのが「平均値プーリング」。

ルナ

いちばん強い子を選ぶか、みんなの気持ちを平均するか、なのね♡

区画[1, 3, 2, 8]をまとめると
最大値プーリング平均値プーリング
選ぶ値いちばん大きい値区画の平均
この例の結果8(1+3+2+8)÷4=3.5
残りやすいものいちばん強い反応区画全体のようす
ミコ

プーリングにも、学習する重みはあるの?

シオン

…ない。最大か平均を計算するだけ。だから学習するパラメータは0。

ルナ

がんばって覚えることがないのね…うらやましい♡

#3少しずれても、同じ答えになる

ミコ

でも、なんでわざわざ小さくするの? もったいなくない?

シオン

…理由は2つ。1つは、計算が軽くなること。

シオン

…もう1つは、少しの位置のずれに強くなること。「不変性の獲得」。

ミコ

猫が1マス右にずれても、区画の最大値はほぼ同じ…だから同じ答え!

ルナ

じゃあ、猫がくるっと逆立ちしても大丈夫なのね♡

シオン

…それは無理。強くなるのは、小さな位置のずれ。大きな回転までは面倒みない。

#4最後にぜんぶ平均する「GAP」

シオン

…もう1つ。特徴マップ1枚をまるごと平均して、1つの数にする方法がある。

ミコ

1枚まるごと!? 区画どころじゃないじゃん!

シオン

…「グローバルアベレージプーリング」。略してGAP。

GAPで出力を作る流れ(Network In Network の例)
  1. 1最後の畳み込み層で、クラスの数だけ特徴マップを作る
  2. 2マップ1枚ごとに、全部の値を平均する
  3. 3クラスの数だけ並んだ数を、そのまま出力にする
  4. 4重い全結合層が要らなくなる
ミコ

全結合層を使わないから、パラメータが減るんだ!

ルナ

全部ならして1つにする…ルナの1週間の気分も、GAPしたら「ふつう」かも♡

ミコ

毎日の上がり下がり、激しすぎるもんね!

シオン

…なお最近は、プーリングを使わず、ストライド2の畳み込みで小さくする作り方もある。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

特徴マップ1枚ごとに全部の値を平均して1つの数にし、全結合層の代わりに使われることもある操作は?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第5章のレッスン

  1. 畳み込み層(CNN)
  2. プーリング層
  3. スキップ結合(ResNet)
  4. 正規化層
  5. 回帰結合層(RNN)
  6. LSTMとGRU
  7. AttentionとTransformer
  8. オートエンコーダ
  9. データ拡張