♪この章の曲ねえ、覚えてる?
サビで覚えて、下の会話で回収
#1プーリングは「区画ごとの代表えらび」

前回は畳み込みで特徴マップを作った! 今日はその続き!

…特徴マップを小さくまとめる層。「プーリング層」。

プール? ルナ、水着を新しくしなきゃ♡

…泳がない。マップを2×2などの区画に分けて、区画ごとに1つの値を選ぶ。

4マスが1マスになるってこと? 縦も横も半分!

…そう。2×2の区画を、重ならないように2マスずつずらすと、半分になる。
#2最大値と平均値、どうちがう?

代表って、どうやって選ぶの? じゃんけん?

…いちばん大きい値を選ぶのが「最大値プーリング」。

…区画の平均をとるのが「平均値プーリング」。

いちばん強い子を選ぶか、みんなの気持ちを平均するか、なのね♡
| 最大値プーリング | 平均値プーリング | |
|---|---|---|
| 選ぶ値 | いちばん大きい値 | 区画の平均 |
| この例の結果 | 8 | (1+3+2+8)÷4=3.5 |
| 残りやすいもの | いちばん強い反応 | 区画全体のようす |

プーリングにも、学習する重みはあるの?

…ない。最大か平均を計算するだけ。だから学習するパラメータは0。

がんばって覚えることがないのね…うらやましい♡
#3少しずれても、同じ答えになる

でも、なんでわざわざ小さくするの? もったいなくない?

…理由は2つ。1つは、計算が軽くなること。

…もう1つは、少しの位置のずれに強くなること。「不変性の獲得」。

猫が1マス右にずれても、区画の最大値はほぼ同じ…だから同じ答え!

じゃあ、猫がくるっと逆立ちしても大丈夫なのね♡

…それは無理。強くなるのは、小さな位置のずれ。大きな回転までは面倒みない。
#4最後にぜんぶ平均する「GAP」

…もう1つ。特徴マップ1枚をまるごと平均して、1つの数にする方法がある。

1枚まるごと!? 区画どころじゃないじゃん!

…「グローバルアベレージプーリング」。略してGAP。
- 1最後の畳み込み層で、クラスの数だけ特徴マップを作る
- 2マップ1枚ごとに、全部の値を平均する
- 3クラスの数だけ並んだ数を、そのまま出力にする
- 4重い全結合層が要らなくなる

全結合層を使わないから、パラメータが減るんだ!

全部ならして1つにする…ルナの1週間の気分も、GAPしたら「ふつう」かも♡

毎日の上がり下がり、激しすぎるもんね!

…なお最近は、プーリングを使わず、ストライド2の畳み込みで小さくする作り方もある。
ミコのメモ(自分あて)
- プーリング=区画ごとに代表の値を1つ選んで小さくする既読
- 最大値プーリング=最大値、平均値プーリング=平均値既読
- プーリング層には学習するパラメータがない既読
- 小さな位置のずれに強くなる=不変性の獲得既読
- GAP=マップ1枚を平均して1つの数に。全結合層の代わり既読
試験デンデン! 1問だけ
特徴マップ1枚ごとに全部の値を平均して1つの数にし、全結合層の代わりに使われることもある操作は?
GAPはマップ1枚をまるごと平均し、クラスの数だけの値をそのまま出力にできるので、重い全結合層を減らせる。最大値プーリングは区画ごとの最大値を選ぶ操作、ストライドはフィルタやプーリングをずらす歩幅、パディングは外側に0などを足して大きさを保つことで、どれも「1枚を1つの数にする」ものではない。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Dive into Deep Learning「7.5 Pooling」
- Lin, Chen, Yan「Network In Network」(2013年・global average pooling を提案)
- Springenberg ほか「Striving for Simplicity: The All Convolutional Net」(2014年)
- JDLA「G検定とは」(シラバス)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。