♪この章の曲谷底はどこ?登山部
サビで覚えて、下の会話で回収
#1活性化関数は、なんのためにあるの?

前回、隠れ層で「活性化関数で変換する」って出てきた! あれなに?

…ニューロンが、重みを掛けて足した合計を、次へ渡す値に変える関数。

そのまま渡しちゃダメなの?

…ダメ。掛けて足すだけの層は、何枚重ねても、1枚の掛けて足すだけと同じになる。

…だから、あいだに曲がった(非線形の)関数をはさむ。これで複雑な形を表せる。

まっすぐなだけの人より、ちょっと屈折してる人のほうが深みがあるのね♡

恋愛の話にしないで! でも覚えやすい!
#2シグモイドとtanh ── S字のなかま

…昔よく使われたのが、シグモイド関数。どんな入力も0〜1の間に押しこむS字の形。
σ(x) = 1 ÷(1 + e^(−x))
出力は0〜1。微分は σ(x)×(1−σ(x))で、いちばん大きくても0.25(x=0のとき)

…tanh(ハイパボリックタンジェント)も同じS字。ただし出力は−1〜1で、0を中心にしている。

0が真ん中のほうが、なにがいいの?

…出力がプラスにかたよらないぶん、学習が進みやすい。だから隠れ層ではシグモイドよりtanhが好まれた。
#3S字の弱点が「勾配消失問題」

でも今は、シグモイドってあんまり使わないって聞いた! なんで?

…S字の両はしは平ら。そこでは微分(傾き)がほぼ0になる。

…学習では、この傾きを層ごとに掛け算して前へ伝える。0.25以下を何回も掛けると…

どんどん小さくなる! 入力に近い層まで届かない!

「好き」が伝言されるたびに薄まって、最後は「ふつう」になっちゃうのね…♡

…それはもともと、薄かった。
#4ReLUと、その改良版

…そこで広まったのがReLU。マイナスは0、プラスはそのまま出す。

シンプルすぎ! それで大丈夫なの!?

…プラス側の傾きはずっと1。だから勾配が消えにくいし、計算も軽い。

…ただ、入力がずっとマイナスだと傾きが0のまま。学習しなくなる。「死んだReLU」と呼ばれる。

…それを防ぐのがLeaky ReLU。マイナス側にも0.01倍くらいの小さな傾きを残す。
| 出力の範囲 | 注意点 | |
|---|---|---|
| シグモイド | 0〜1 | 勾配消失しやすい |
| tanh | −1〜1 | 両はしで勾配消失 |
| ReLU | 0以上 | マイナスで傾き0 |
| Leaky ReLU | 制限なし | マイナスも小さな傾き |

冷たくされても、0.01だけ返してくれる…♡ Leaky ReLUって優しい
#5出力層ではソフトマックス

犬・猫・鳥のどれか当てたいときは、どうするの?

…出力層でソフトマックス関数。いくつもの出力を、全部足すと1になる確率に変える。
- 多クラス分類 → ソフトマックス関数
- 2クラス分類 → シグモイド関数
- 数値を当てる回帰 → 活性化関数なし(恒等関数)

シグモイドは、隠れ層ではあまり使わないけど、出力層ではまだ現役なんだ!

…そう。どこで使うかで、向き不向きが変わる。
ミコのメモ(自分あて)
- 活性化関数がないと、層を重ねても線形のまま既読
- シグモイドは0〜1、tanhは−1〜1。どちらも勾配消失しやすい既読
- シグモイドの微分は最大0.25既読
- ReLUはmax(0, x)。Leaky ReLUはマイナス側に小さな傾き既読
- 多クラス分類の出力層はソフトマックス(合計1)既読
試験デンデン! 1問だけ
ReLU関数で、入力がずっと負になったニューロンが学習しなくなる問題をやわらげるため、負の入力にも小さな傾きをもたせた活性化関数はどれ?
Leaky ReLUは、入力が負のときも0ではなく小さな傾き(例:0.01倍)を残すので、勾配が0のままになりにくい。tanhは出力が−1〜1のS字型、ソフトマックスは出力を合計1の確率に変える関数(主に多クラス分類の出力層)、シグモイドは出力が0〜1のS字型で、どれもこの問題への対策として作られたものではない。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Stanford CS231n「Neural Networks Part 1」Commonly used activation functions
- Goodfellow, Bengio, Courville「Deep Learning」第6章(MIT Press, 2016)
- PyTorch Docs「torch.nn.LeakyReLU」
- PyTorch Docs「torch.nn.Softmax」
- Glorot & Bengio「Understanding the difficulty of training deep feedforward neural networks」(AISTATS 2010)
- Maas, Hannun, Ng「Rectifier Nonlinearities Improve Neural Network Acoustic Models」(ICML 2013)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。