♪この章の曲ねえ、覚えてる?
サビで覚えて、下の会話で回収
#1畳み込み層って、なにをしてるの?

第5章スタート! 今日は画像認識の主役、「畳み込み層」!

たたみこみ…? ルナ、洗濯物をたたむのは得意なの♡

…それは、たたむ。こっちは、小さな窓を画像の上ですべらせる計算。

窓? 画像に窓をつけるの?

…3×3くらいの数字の表。「フィルタ」、または「カーネル」と呼ぶ。
- 1画像の左上に、3×3などのフィルタを重ねる
- 2重なったマスどうしを掛けて、ぜんぶ足す(1つの数になる)
- 3フィルタを少しずらして、同じ計算をくり返す
- 4出てきた数を並べたものが「特徴マップ」

フィルタの数字しだいで、反応するものが変わるってこと?

…そう。縦線に反応するもの、横線に反応するもの。数字は学習で決まる。

結果の地図が「特徴マップ」なのね♡ 好きな人の居場所が分かる地図…

人じゃなくて、線とか模様の居場所ね!
#2全結合層より、なぜ軽いの?

でも、全結合層でも画像は読めるんじゃないの?

…読める。でも重い。100万画素を1000個の出力につなぐと、重みは10億個。

10億!? 覚えきれないじゃん!

…畳み込みは、同じフィルタを画像全体で使い回す。重みはフィルタの分だけ。

しかも見るのは近くのマスだけ! 全部とつながる全結合層より、ずっと軽いんだ!
パラメータ数 = フィルタ縦 × 横 × 入力チャンネル数 × フィルタ枚数 + バイアス(フィルタ枚数ぶん)
例:3×3のフィルタを、RGB(3チャンネル)の画像に16枚使うと、3×3×3×16+16=448個。画像の大きさには関係しない

1枚のフィルタを、どこでもずっと使う…一途なのね♡

…一途じゃない。ただの節約。
#3ストライドとパディングで、大きさが決まる

フィルタをずらすとき、何マスずつ動かすの?

…その歩幅が「ストライド」。2なら1つ飛ばし。出力は小さくなる。

あと端っこ! フィルタがはみ出しちゃうじゃん!

…だから外側に0などを足して広げる。「パディング」。出力の大きさを保てる。
出力 =(入力 + 2 × パディング − フィルタ)÷ ストライド + 1
割り切れないときは切り捨て。例:入力32・フィルタ3・パディング1・ストライド1なら、出力も32

端っこの子にも、座布団を敷いてあげるのね♡ やさしい世界

座布団じゃなくて、0の列ね!
#4変わり種の畳み込みも、名前で出る

…変わり種を2つ。まず「Dilated Convolution」。「Atrous Convolution」とも言う。

名前が2つあるの、ずるくない!?

…フィルタのマスの間をあけて、広い範囲を見る。パラメータは増えない。

もう1つは?

…「Depthwise Separable Convolution」。チャンネルごとの畳み込みと、1×1の畳み込みに分ける。
| Dilated(Atrous) | Depthwise Separable | |
|---|---|---|
| しくみ | フィルタのマスの間をあける | チャンネルごと+1×1に分ける |
| うれしいこと | 広い範囲を見られる | 計算とパラメータが減る |
| 使われた例 | DeepLab(領域分割) | Xception・MobileNet |

分けたら軽くなるのね…ルナの重い愛も、分割すれば…♡

…たぶん、それは減らない。

ところで畳み込みって、画像専用?

…近いものどうしに意味があるデータ向き。音声や時系列にも使う。
ミコのメモ(自分あて)
- フィルタ(カーネル)をすべらせて特徴マップを作る既読
- 同じフィルタを使い回すので、全結合層より重みが少ない既読
- ストライド=歩幅。パディング=端に0を足して広げる既読
- Dilated=Atrous:マスの間をあけて広く見る既読
- Depthwise Separable:チャンネルごと+1×1で軽く既読
試験デンデン! 1問だけ
フィルタのマスとマスの間をあけることで、パラメータ数を増やさずに広い範囲を見られるようにした畳み込みは?
Dilated Convolution(Atrous Convolutionとも言う)は、フィルタのマスの間をあけて広い範囲を見る。パディングは画像の外側に0などを足して出力の大きさを保つこと、Depthwise Separable Convolutionはチャンネルごとの畳み込みと1×1の畳み込みに分けて計算を減らす方法、最大値プーリングは領域の最大値を代表にする操作で、畳み込みではない。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Dive into Deep Learning「7.1 From Fully Connected Layers to Convolutions」
- Dive into Deep Learning「7.3 Padding and Stride」
- Yu, Koltun「Multi-Scale Context Aggregation by Dilated Convolutions」(2015年)
- Chen ほか「DeepLab: … Atrous Convolution, and Fully Connected CRFs」(2016年)
- Chollet「Xception: Deep Learning with Depthwise Separable Convolutions」(2016年)
- Howard ほか「MobileNets」(2017年)
- JDLA「G検定とは」(シラバス)
「100万画素を1000個の出力につなぐと重みは10億個」は、教科書(Dive into Deep Learning)の説明に合わせた計算例です。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。