G検定 第9章|AIに必要な数理・統計知識

微分と勾配降下法(最適化の数学)

AIは、どうやって「まちがい」を減らしているの?

会話で読んで3分

微分偏微分勾配勾配降下法最適化

#1微分は「その瞬間の変化の速さ」

ミコ

第9章の最後は微分! 名前だけでもう難しそう!

シオン

…車のスピードメーターを思い出す。あれは「今この瞬間」の速さ。

シオン

…1時間で60km進んだ、は平均の速さ。その瞬間の変化の速さを求めるのが「微分」。

ミコ

グラフでいうと、その点での傾きってこと?

シオン

…そう。曲線のその点にそっと当てた直線、接線の傾き。

微分(導関数)の定義

f′(x) = lim(h→0){f(x+h) − f(x)}÷ h

xをほんの少し(h)だけ動かしたときの変化の割合で、hを0に近づけた値。その点の接線の傾き

ルナ

ルナの心拍数も、彼を見た瞬間に微分したら急上昇なの♡

ミコ

傾きの使い方は、それで合ってる!

#2x²を微分すると2x

シオン

…たとえば f(x)=x²。微分すると f′(x)=2x。

ミコ

じゃあ x=3 のところの傾きは、2×3で6!

シオン

…正解。x=0では傾き0。ここが谷の底。

ミコ

傾きが0のところが、いちばん低い場所なんだ!

シオン

…AIの値が何百万個あっても考え方は同じ。1つだけ動かしたときの傾きが「偏微分」。

シオン

…偏微分を全部まとめて並べたものが「勾配」。どっちへ動くと一番変わるかを示す。

ルナ

ルナと彼の関係も、どっちに動けば近づけるか勾配で知りたいの♡

ミコ

それは数式じゃなくて、本人に聞いて!

#3誤差の坂道を下る「勾配降下法」

ミコ

でも、AIの勉強と坂道がどうつながるの?

シオン

…AIは、予想と正解のずれ(誤差)を、できるだけ小さくしたい。これが最適化。

シオン

…誤差を坂道だと思って、傾きの逆向きに少しずつ下りる。それが「勾配降下法」。

勾配降下法の更新式

新しい値 = 今の値 − 学習率 × 傾き(誤差の微分)

誤差がx²、今の値3、学習率0.1なら、3 − 0.1×6 = 2.4。くり返すと谷の底(0)に近づく

ミコ

3、2.4、1.92…ほんとに0に近づいてく! ボールが転がってるみたい!

ルナ

学習率を大きくしたら、一気に谷底に着けるのね♡

シオン

…大きすぎると谷を飛び越えて、行ったり来たり。小さすぎると、いつまでも着かない。

#4谷底は1つとは限らない

ミコ

谷の底に着いたら、それがいちばんの正解?

2種類の「谷の底」
どんな場所?注意
局所最適解まわりよりは低い谷本当の一番低い所とは限らない
大域最適解全体でいちばん低い谷見つけるのがむずかしい
シオン

…近くの小さな谷にはまると、そこで止まる。これが局所最適解の問題。

ミコ

山の途中のくぼみで「ゴールした!」って思っちゃうのと同じだ!

シオン

…ディープラーニングでは、とても低い所が見つかれば十分、と考えることが多い。

ルナ

ルナも、今の彼が局所最適解かもって、たまに思うの♡

ミコ

それは聞かなかったことにする!

ミコのメモ(自分あて)

試験デンデン! 1問だけ

誤差を表す関数 L(w) = w² を、勾配降下法で小さくしたい。いまの値が w = 2、学習率が 0.25 のとき、1回更新したあとの w はいくつ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

車の速さや学習率の数値は、説明のためのイメージです。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第9章のレッスン

  1. 代表値(平均値・中央値・最頻値)と外れ値
  2. 分散と標準偏差
  3. 確率分布(正規分布・二項分布・ポアソン分布)
  4. 相関係数と疑似相関(相関と因果)
  5. 微分と勾配降下法(最適化の数学)