♪この章の曲ねえ、覚えてる?
サビで覚えて、下の会話で回収
#1正規化層は、なにをそろえる?

今日は「正規化層」! なんか、きっちりした名前!

…層の出力の数を、平均0・分散1になるように引き直す層。

数がバラバラだと、何が困るの?

…大きすぎたり小さすぎたりすると、学習がふらつく。そろえると安定する。

ルナの気分の上がり下がりも、平均0・分散1にしてほしいの♡

…それは、別の専門家に。
出力 = γ ×(x − 平均)÷ 標準偏差 + β
まず平均を引いて標準偏差で割り、平均0・分散1にする。そのあと、学習で決まる γ(倍率)と β(ずらし)で調整する。実際は0で割らないよう小さな数を足す

そろえたあとに、γとβでまた動かすの? せっかくそろえたのに!

…必要なら元に戻せるように。どこまで戻すかも、学習で決める。
#2バッチ正規化と「内部共変量シフト」

γとβまで学習するなんて、かしこい! で、いちばん有名な正規化は?

…代表が「バッチ正規化」。2015年、GoogleのIoffeとSzegedy。

…ミニバッチの中で、特徴ごとに平均と分散を計算して、そろえる。

効果は?

…学習率を大きくできる。初期値にも神経質にならなくていい。論文の主張。

なんでそんなに効くの?

…論文は「前の層が変わると、次の層の入力の分布がずれる」のを抑えるから、と説明した。

…これが「内部共変量シフト」。ただ2018年に、主な理由は別では、という研究も出た。

よく効くのに、なぜ効くかはまだ議論中…ミステリアスで素敵♡

試験では「内部共変量シフトを抑える目的で提案された」で覚えればOKだね!
#34つの正規化は「どこで平均をとるか」

でも、ミニバッチが小さかったらどうなるの?

…平均がぶれて、精度が落ちやすい。だから、1データの中で計算する仲間がいる。
| 平均・分散をとる範囲 | よく使う場面 | |
|---|---|---|
| バッチ正規化 | バッチ内の同じチャンネル | バッチが大きい画像CNN |
| レイヤー正規化 | 1データの全チャンネル | RNN・Transformer |
| インスタンス正規化 | 1データの1チャンネルごと | 画像のスタイル変換 |
| グループ正規化 | 1データのチャンネルの組 | バッチが小さい検出など |

レイヤー正規化はバッチを使わないから、バッチの大きさに左右されないんだ!

…そう。2016年。Transformerも、レイヤー正規化を使っている。

グループ正規化は、チャンネルを仲よしグループに分けるのね♡ 席替えみたい

…2018年。バッチが小さくても安定する。インスタンス正規化はグループが1チャンネルずつの形。

つまり4つとも、計算は同じで、平均をとる範囲がちがうだけ!

…正解。そこが試験で問われる。
ミコのメモ(自分あて)
- 正規化層=平均0・分散1にそろえ、γとβで調整する既読
- バッチ正規化:2015年。ミニバッチ内で特徴ごとにそろえる既読
- 内部共変量シフトを抑える目的で提案(効く理由は議論あり)既読
- レイヤー正規化はバッチに頼らない。Transformerで使う既読
- グループ正規化は小さいバッチ向け。インスタンスは1チャンネルずつ既読
試験デンデン! 1問だけ
バッチサイズが小さいと精度が落ちやすいバッチ正規化の弱点に対し、1つのデータの中でチャンネルをいくつかの組に分けて正規化する手法は?
グループ正規化はチャンネルを組に分け、組ごとに平均と分散をとるのでバッチの大きさに左右されにくい。レイヤー正規化は1データの全チャンネル、インスタンス正規化は1チャンネルごとに計算する(どちらも「組に分ける」ではない)。ドロップアウトは一部のニューロンを無効にする過学習対策で、正規化ではない。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Ioffe, Szegedy「Batch Normalization: … Reducing Internal Covariate Shift」(2015年)
- Santurkar ほか「How Does Batch Normalization Help Optimization?」(2018年)
- Ba, Kiros, Hinton「Layer Normalization」(2016年)
- Ulyanov, Vedaldi, Lempitsky「Instance Normalization」(2016年)
- Wu, He「Group Normalization」(2018年)
- Dive into Deep Learning「8.5 Batch Normalization」
- JDLA「G検定とは」(シラバス)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。