G検定 第5章|ディープラーニングの要素技術

正規化層

バッチ正規化・レイヤー正規化、何をそろえてるの?

会話で読んで3分

正規化層バッチ正規化レイヤー正規化インスタンス正規化グループ正規化

♪この章の曲ねえ、覚えてる?

サビで覚えて、下の会話で回収

#1正規化層は、なにをそろえる?

ミコ

今日は「正規化層」! なんか、きっちりした名前!

シオン

…層の出力の数を、平均0・分散1になるように引き直す層。

ミコ

数がバラバラだと、何が困るの?

シオン

…大きすぎたり小さすぎたりすると、学習がふらつく。そろえると安定する。

ルナ

ルナの気分の上がり下がりも、平均0・分散1にしてほしいの♡

シオン

…それは、別の専門家に。

正規化の計算(1つの値について)

出力 = γ ×(x − 平均)÷ 標準偏差 + β

まず平均を引いて標準偏差で割り、平均0・分散1にする。そのあと、学習で決まる γ(倍率)と β(ずらし)で調整する。実際は0で割らないよう小さな数を足す

ミコ

そろえたあとに、γとβでまた動かすの? せっかくそろえたのに!

シオン

…必要なら元に戻せるように。どこまで戻すかも、学習で決める。

#2バッチ正規化と「内部共変量シフト」

ミコ

γとβまで学習するなんて、かしこい! で、いちばん有名な正規化は?

シオン

…代表が「バッチ正規化」。2015年、GoogleのIoffeとSzegedy。

シオン

…ミニバッチの中で、特徴ごとに平均と分散を計算して、そろえる。

ミコ

効果は?

シオン

…学習率を大きくできる。初期値にも神経質にならなくていい。論文の主張。

ミコ

なんでそんなに効くの?

シオン

…論文は「前の層が変わると、次の層の入力の分布がずれる」のを抑えるから、と説明した。

シオン

…これが「内部共変量シフト」。ただ2018年に、主な理由は別では、という研究も出た。

ルナ

よく効くのに、なぜ効くかはまだ議論中…ミステリアスで素敵♡

ミコ

試験では「内部共変量シフトを抑える目的で提案された」で覚えればOKだね!

#34つの正規化は「どこで平均をとるか」

ミコ

でも、ミニバッチが小さかったらどうなるの?

シオン

…平均がぶれて、精度が落ちやすい。だから、1データの中で計算する仲間がいる。

代表的な正規化の手法
平均・分散をとる範囲よく使う場面
バッチ正規化バッチ内の同じチャンネルバッチが大きい画像CNN
レイヤー正規化1データの全チャンネルRNN・Transformer
インスタンス正規化1データの1チャンネルごと画像のスタイル変換
グループ正規化1データのチャンネルの組バッチが小さい検出など
ミコ

レイヤー正規化はバッチを使わないから、バッチの大きさに左右されないんだ!

シオン

…そう。2016年。Transformerも、レイヤー正規化を使っている。

ルナ

グループ正規化は、チャンネルを仲よしグループに分けるのね♡ 席替えみたい

シオン

…2018年。バッチが小さくても安定する。インスタンス正規化はグループが1チャンネルずつの形。

ミコ

つまり4つとも、計算は同じで、平均をとる範囲がちがうだけ!

シオン

…正解。そこが試験で問われる。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

バッチサイズが小さいと精度が落ちやすいバッチ正規化の弱点に対し、1つのデータの中でチャンネルをいくつかの組に分けて正規化する手法は?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第5章のレッスン

  1. 畳み込み層(CNN)
  2. プーリング層
  3. スキップ結合(ResNet)
  4. 正規化層
  5. 回帰結合層(RNN)
  6. LSTMとGRU
  7. AttentionとTransformer
  8. オートエンコーダ
  9. データ拡張