♪この章の曲谷底はどこ?登山部
サビで覚えて、下の会話で回収
#1誤差の坂を、いちばん急な方へ下る

誤差を測れるようになった! で、どうやって小さくするの?

…重みと誤差の関係を、山の地形だと思う。低いところほど誤差が小さい。

…足もとの傾き(勾配)を計算して、下りの方向に少しずつ進む。これが勾配降下法。
新しい重み = いまの重み − 学習率 × 勾配
勾配は「誤差を重みで微分したもの」。勾配は上り坂の向きを指すので、マイナスをつけて逆向き(下り)に進む

霧の中で、足もとだけ見て谷へ下りていく…♡ ドラマチックなの

全体の地図は見えないんだ! 足もとの傾きだけが手がかり!
#2歩はばが「学習率」

…1回にどれだけ進むかを決めるのが、学習率。
| 起きること | 山下りでいうと | |
|---|---|---|
| 大きすぎる | 行ったり来たり・発散 | 谷を飛びこえる |
| 小さすぎる | なかなか下がらない | 日が暮れる |
| ちょうどいい | 安定して下がる | 着実に谷へ |

大またすぎると谷を飛びこえて、小またすぎると日が暮れる!

…学習率は、人が先に決めておく値。こういう値をハイパーパラメータという。

距離のつめ方と同じね♡ 急ぎすぎると逃げられて、慎重すぎると何も起きないの
#3谷底だと思ったら、ちがった

坂がなくなったら、そこがゴールでしょ?

…そうとは限らない。まわりより低いだけの小さなくぼみかもしれない。それが局所最適解。

…いちばん低い本当の谷底は、大域最適解。

…もう1つ、鞍点もある。ある向きでは谷底なのに、別の向きでは山頂になっている点。

馬の鞍の形だ! 傾きが0だから、そこで止まっちゃうんだ!

…そう。次元の多い問題では、くぼみより鞍点のほうがずっと多いと考えられている。

ここが運命の人!って思ったら局所最適解だった…ルナ、何回目かな♡

数えないほうがいいやつ!
#4データを何個ずつ使う?

勾配って、データを全部使って計算するの? 何百万枚もあったら重くない?

…全部使うのがバッチ学習。1個ずつ使うのがオンライン学習。その間がミニバッチ学習。
| 1回に使うデータ | 特徴 | |
|---|---|---|
| バッチ学習 | 全部 | 安定だが1回が重い |
| ミニバッチ学習 | 数十〜数百個など | いまの主流 |
| オンライン学習 | 1個ずつ | 軽いがゆれやすい |

…ランダムに選んだ一部のデータで勾配を計算するのが、確率的勾配降下法(SGD)。ミニバッチでもSGDと呼ぶことが多い。

全部見なくても、だいたいの坂の向きはわかるってことか!
#5エポックとイテレーション

…重みを1回更新するのが、1イテレーション。

…学習データ全部を1周するのが、1エポック。

データ1000個でミニバッチが50個なら…1000÷50で、1エポック=20イテレーション!

…正解。

ルナは推しの動画を1日1エポック見てるの♡

全部見返してるの!? 重いよ!
ミコのメモ(自分あて)
- 新しい重み=いまの重み−学習率×勾配既読
- 学習率が大きすぎると発散、小さすぎると遅い既読
- 局所最適解・鞍点では勾配が0で止まりやすい既読
- 全部=バッチ、1個ずつ=オンライン、間=ミニバッチ既読
- 1エポック=データ1周。1イテレーション=1回の更新既読
試験デンデン! 1問だけ
学習データが2000個、ミニバッチの大きさが100のとき、1エポックで重みは何回更新される?(イテレーションの数)
1エポックは学習データ全体を1周すること。1回の更新(1イテレーション)でミニバッチ100個を使うので、2000÷100=20回。100回はミニバッチの大きさ、2000回はデータを1個ずつ使うオンライン学習の場合の回数、200000回はデータ数とミニバッチの大きさを掛けたもので、意味のない数。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Goodfellow, Bengio, Courville「Deep Learning」第4章 Numerical Computation(勾配降下法)
- Goodfellow, Bengio, Courville「Deep Learning」第8章 Optimization for Training Deep Models(バッチ・ミニバッチ・鞍点)
- Google for Developers「Machine Learning Glossary」(iteration・epoch・learning rate)
- Stanford CS231n「Optimization: Stochastic Gradient Descent」
学習率の大小と起きることの表は、傾向をつかむための大まかな整理です。ミニバッチの大きさは「数十〜数百個など」がよく使われるという目安で、決まった値ではありません。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。