G検定 第4章|ディープラーニングの概要

活性化関数

シグモイド、ReLU、ソフトマックス…どう使い分けるの?

会話で読んで3分

シグモイド関数tanh関数ReLU関数Leaky ReLU関数ソフトマックス関数勾配消失問題

♪この章の曲谷底はどこ?登山部

サビで覚えて、下の会話で回収

#1活性化関数は、なんのためにあるの?

ミコ

前回、隠れ層で「活性化関数で変換する」って出てきた! あれなに?

シオン

…ニューロンが、重みを掛けて足した合計を、次へ渡す値に変える関数。

ミコ

そのまま渡しちゃダメなの?

シオン

…ダメ。掛けて足すだけの層は、何枚重ねても、1枚の掛けて足すだけと同じになる。

シオン

…だから、あいだに曲がった(非線形の)関数をはさむ。これで複雑な形を表せる。

ルナ

まっすぐなだけの人より、ちょっと屈折してる人のほうが深みがあるのね♡

ミコ

恋愛の話にしないで! でも覚えやすい!

#2シグモイドとtanh ── S字のなかま

シオン

…昔よく使われたのが、シグモイド関数。どんな入力も0〜1の間に押しこむS字の形。

シグモイド関数

σ(x) = 1 ÷(1 + e^(−x))

出力は0〜1。微分は σ(x)×(1−σ(x))で、いちばん大きくても0.25(x=0のとき)

シオン

…tanh(ハイパボリックタンジェント)も同じS字。ただし出力は−1〜1で、0を中心にしている。

ミコ

0が真ん中のほうが、なにがいいの?

シオン

…出力がプラスにかたよらないぶん、学習が進みやすい。だから隠れ層ではシグモイドよりtanhが好まれた。

#3S字の弱点が「勾配消失問題」

ミコ

でも今は、シグモイドってあんまり使わないって聞いた! なんで?

シオン

…S字の両はしは平ら。そこでは微分(傾き)がほぼ0になる。

シオン

…学習では、この傾きを層ごとに掛け算して前へ伝える。0.25以下を何回も掛けると…

ミコ

どんどん小さくなる! 入力に近い層まで届かない!

ルナ

「好き」が伝言されるたびに薄まって、最後は「ふつう」になっちゃうのね…♡

シオン

…それはもともと、薄かった。

#4ReLUと、その改良版

シオン

…そこで広まったのがReLU。マイナスは0、プラスはそのまま出す。

ミコ

シンプルすぎ! それで大丈夫なの!?

シオン

…プラス側の傾きはずっと1。だから勾配が消えにくいし、計算も軽い。

シオン

…ただ、入力がずっとマイナスだと傾きが0のまま。学習しなくなる。「死んだReLU」と呼ばれる。

シオン

…それを防ぐのがLeaky ReLU。マイナス側にも0.01倍くらいの小さな傾きを残す。

隠れ層で使う活性化関数
出力の範囲注意点
シグモイド0〜1勾配消失しやすい
tanh−1〜1両はしで勾配消失
ReLU0以上マイナスで傾き0
Leaky ReLU制限なしマイナスも小さな傾き
ルナ

冷たくされても、0.01だけ返してくれる…♡ Leaky ReLUって優しい

#5出力層ではソフトマックス

ミコ

犬・猫・鳥のどれか当てたいときは、どうするの?

シオン

…出力層でソフトマックス関数。いくつもの出力を、全部足すと1になる確率に変える。

出力層の使い分け(よくある組み合わせ)
  • 多クラス分類 → ソフトマックス関数
  • 2クラス分類 → シグモイド関数
  • 数値を当てる回帰 → 活性化関数なし(恒等関数)
ミコ

シグモイドは、隠れ層ではあまり使わないけど、出力層ではまだ現役なんだ!

シオン

…そう。どこで使うかで、向き不向きが変わる。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

ReLU関数で、入力がずっと負になったニューロンが学習しなくなる問題をやわらげるため、負の入力にも小さな傾きをもたせた活性化関数はどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第4章のレッスン

  1. ニューラルネットワークとディープラーニング
  2. 活性化関数
  3. 誤差関数(損失関数)
  4. 勾配降下法
  5. 最適化手法(モーメンタム・AdaGrad・RMSprop・Adam)
  6. 誤差逆伝播法
  7. 正則化(L1・L2・ドロップアウト)
  8. ハイパーパラメータの調整