#1微分は「その瞬間の変化の速さ」

第9章の最後は微分! 名前だけでもう難しそう!

…車のスピードメーターを思い出す。あれは「今この瞬間」の速さ。

…1時間で60km進んだ、は平均の速さ。その瞬間の変化の速さを求めるのが「微分」。

グラフでいうと、その点での傾きってこと?

…そう。曲線のその点にそっと当てた直線、接線の傾き。
f′(x) = lim(h→0){f(x+h) − f(x)}÷ h
xをほんの少し(h)だけ動かしたときの変化の割合で、hを0に近づけた値。その点の接線の傾き

ルナの心拍数も、彼を見た瞬間に微分したら急上昇なの♡

傾きの使い方は、それで合ってる!
#2x²を微分すると2x

…たとえば f(x)=x²。微分すると f′(x)=2x。

じゃあ x=3 のところの傾きは、2×3で6!

…正解。x=0では傾き0。ここが谷の底。

傾きが0のところが、いちばん低い場所なんだ!

…AIの値が何百万個あっても考え方は同じ。1つだけ動かしたときの傾きが「偏微分」。

…偏微分を全部まとめて並べたものが「勾配」。どっちへ動くと一番変わるかを示す。

ルナと彼の関係も、どっちに動けば近づけるか勾配で知りたいの♡

それは数式じゃなくて、本人に聞いて!
#3誤差の坂道を下る「勾配降下法」

でも、AIの勉強と坂道がどうつながるの?

…AIは、予想と正解のずれ(誤差)を、できるだけ小さくしたい。これが最適化。

…誤差を坂道だと思って、傾きの逆向きに少しずつ下りる。それが「勾配降下法」。
新しい値 = 今の値 − 学習率 × 傾き(誤差の微分)
誤差がx²、今の値3、学習率0.1なら、3 − 0.1×6 = 2.4。くり返すと谷の底(0)に近づく

3、2.4、1.92…ほんとに0に近づいてく! ボールが転がってるみたい!

学習率を大きくしたら、一気に谷底に着けるのね♡

…大きすぎると谷を飛び越えて、行ったり来たり。小さすぎると、いつまでも着かない。
#4谷底は1つとは限らない

谷の底に着いたら、それがいちばんの正解?
| どんな場所? | 注意 | |
|---|---|---|
| 局所最適解 | まわりよりは低い谷 | 本当の一番低い所とは限らない |
| 大域最適解 | 全体でいちばん低い谷 | 見つけるのがむずかしい |

…近くの小さな谷にはまると、そこで止まる。これが局所最適解の問題。

山の途中のくぼみで「ゴールした!」って思っちゃうのと同じだ!

…ディープラーニングでは、とても低い所が見つかれば十分、と考えることが多い。

ルナも、今の彼が局所最適解かもって、たまに思うの♡

それは聞かなかったことにする!
ミコのメモ(自分あて)
- 微分=その瞬間の変化の割合。グラフの接線の傾き既読
- x²を微分すると2x。傾き0の所が谷の底の候補既読
- 勾配=偏微分をまとめたもの。一番変わる向きを示す既読
- 勾配降下法=今の値 − 学習率 × 傾き をくり返す既読
- 学習率は大きすぎても小さすぎてもダメ。局所最適解に注意既読
試験デンデン! 1問だけ
誤差を表す関数 L(w) = w² を、勾配降下法で小さくしたい。いまの値が w = 2、学習率が 0.25 のとき、1回更新したあとの w はいくつ?
w² を微分すると 2w なので、w=2 での傾きは 4。更新式「新しい値 = 今の値 − 学習率 × 傾き」に入れると 2 − 0.25×4 = 1。3は傾きの向きに進んでしまった(足し算にした)値、1.5は微分を w のままにして傾きを2とした値、−2は学習率をかけ忘れた値。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- OpenStax「Calculus Volume 1」3.1 Defining the Derivative
- Goodfellow・Bengio・Courville「Deep Learning」4章 Numerical Computation(勾配降下法・偏微分・勾配・局所最小)
- JDLA「G検定とは」(シラバス)
車の速さや学習率の数値は、説明のためのイメージです。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。