G検定 第4章|ディープラーニングの概要

勾配降下法

AIは、どうやって誤差を小さくしていくの?

会話で読んで3分

勾配降下法学習率局所最適解鞍点ミニバッチ学習エポック

♪この章の曲谷底はどこ?登山部

サビで覚えて、下の会話で回収

#1誤差の坂を、いちばん急な方へ下る

ミコ

誤差を測れるようになった! で、どうやって小さくするの?

シオン

…重みと誤差の関係を、山の地形だと思う。低いところほど誤差が小さい。

シオン

…足もとの傾き(勾配)を計算して、下りの方向に少しずつ進む。これが勾配降下法。

勾配降下法の更新式

新しい重み = いまの重み − 学習率 × 勾配

勾配は「誤差を重みで微分したもの」。勾配は上り坂の向きを指すので、マイナスをつけて逆向き(下り)に進む

ルナ

霧の中で、足もとだけ見て谷へ下りていく…♡ ドラマチックなの

ミコ

全体の地図は見えないんだ! 足もとの傾きだけが手がかり!

#2歩はばが「学習率」

シオン

…1回にどれだけ進むかを決めるのが、学習率。

学習率の大きさと起きること
起きること山下りでいうと
大きすぎる行ったり来たり・発散谷を飛びこえる
小さすぎるなかなか下がらない日が暮れる
ちょうどいい安定して下がる着実に谷へ
ミコ

大またすぎると谷を飛びこえて、小またすぎると日が暮れる!

シオン

…学習率は、人が先に決めておく値。こういう値をハイパーパラメータという。

ルナ

距離のつめ方と同じね♡ 急ぎすぎると逃げられて、慎重すぎると何も起きないの

#3谷底だと思ったら、ちがった

ミコ

坂がなくなったら、そこがゴールでしょ?

シオン

…そうとは限らない。まわりより低いだけの小さなくぼみかもしれない。それが局所最適解。

シオン

…いちばん低い本当の谷底は、大域最適解。

シオン

…もう1つ、鞍点もある。ある向きでは谷底なのに、別の向きでは山頂になっている点。

ミコ

馬の鞍の形だ! 傾きが0だから、そこで止まっちゃうんだ!

シオン

…そう。次元の多い問題では、くぼみより鞍点のほうがずっと多いと考えられている。

ルナ

ここが運命の人!って思ったら局所最適解だった…ルナ、何回目かな♡

ミコ

数えないほうがいいやつ!

#4データを何個ずつ使う?

ミコ

勾配って、データを全部使って計算するの? 何百万枚もあったら重くない?

シオン

…全部使うのがバッチ学習。1個ずつ使うのがオンライン学習。その間がミニバッチ学習。

1回の更新に使うデータの量
1回に使うデータ特徴
バッチ学習全部安定だが1回が重い
ミニバッチ学習数十〜数百個などいまの主流
オンライン学習1個ずつ軽いがゆれやすい
シオン

…ランダムに選んだ一部のデータで勾配を計算するのが、確率的勾配降下法(SGD)。ミニバッチでもSGDと呼ぶことが多い。

ミコ

全部見なくても、だいたいの坂の向きはわかるってことか!

#5エポックとイテレーション

シオン

…重みを1回更新するのが、1イテレーション。

シオン

…学習データ全部を1周するのが、1エポック。

ミコ

データ1000個でミニバッチが50個なら…1000÷50で、1エポック=20イテレーション!

シオン

…正解。

ルナ

ルナは推しの動画を1日1エポック見てるの♡

ミコ

全部見返してるの!? 重いよ!

ミコのメモ(自分あて)

試験デンデン! 1問だけ

学習データが2000個、ミニバッチの大きさが100のとき、1エポックで重みは何回更新される?(イテレーションの数)

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

学習率の大小と起きることの表は、傾向をつかむための大まかな整理です。ミニバッチの大きさは「数十〜数百個など」がよく使われるという目安で、決まった値ではありません。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第4章のレッスン

  1. ニューラルネットワークとディープラーニング
  2. 活性化関数
  3. 誤差関数(損失関数)
  4. 勾配降下法
  5. 最適化手法(モーメンタム・AdaGrad・RMSprop・Adam)
  6. 誤差逆伝播法
  7. 正則化(L1・L2・ドロップアウト)
  8. ハイパーパラメータの調整