♪この章の曲谷底はどこ?登山部
サビで覚えて、下の会話で回収
#1誤差関数は「まちがい度」のものさし

AIって、自分がどれくらいまちがえたか、どうやって知るの?

…誤差関数で測る。予測と正解のずれを、1つの数にする関数。損失関数とも言う。

…学習とは、この数ができるだけ小さくなるように、重みを直していくこと。

ルナと推しの心の距離も、誤差関数で測れる?♡

…測れる。たぶん、かなり大きい。

測らないであげて!
#2数値を当てるなら「平均二乗誤差」

…家の値段や気温みたいに、数値を当てる回帰では、平均二乗誤差(MSE)がよく使われる。
MSE =(予測 − 正解)² の平均
ずれを2乗するので、マイナスのずれもプラスになる。ずれが2倍なら、罰は4倍

2乗するってことは、大きくはずすと、ものすごく怒られるんだ!

…そう。大はずれを特に強く直そうとする。そのぶん、とびぬけた外れ値に引っぱられやすい。

ちょっと遅刻しただけなら許すけど、すっぽかしたら4倍怒る…ルナと同じ♡

それはMSEじゃなくて、ルナの気分!
#3分類なら「交差エントロピー」

じゃあ、犬か猫かを当てる分類は? 同じ2乗でいいの?

…分類では、交差エントロピーがよく使われる。正解のクラスに出した確率pを見る。
誤差 = − log(正解のクラスに出した確率 p)
p=1なら誤差0。pが0に近づくほど誤差は急に大きくなる。出力層のソフトマックスとよく組み合わせる

自信満々にはずすと、めちゃくちゃ誤差が大きくなるんだ!

「絶対ルナのこと好き」って思ってたのに違ったときの、あのダメージね…♡

…それは、誤差というより事故。
#4分布のずれを測る「KLダイバージェンス」

…2つの確率分布がどれくらいちがうかを測るのが、カルバック・ライブラー情報量。KLダイバージェンスとも言う。

距離みたいなもの?

…近いけど、距離ではない。PからQを見たときと、QからPを見たときで値がちがう。

ルナから見た距離と、相手から見た距離がちがう…♡ わかりみが深いの

…同じだったら0。ずれるほど大きくなる。マイナスにはならない。
#5「似ている」を学ぶ誤差関数

顔認証みたいに、「同じ人かどうか」を学ばせるときは?

…Contrastive Loss。2つ1組で、同じものは近く、ちがうものは一定以上遠くに置くよう学ぶ。

…Triplet Loss は3つ1組。基準と同じものは近く、ちがうものはそれより遠くに置く。
| よく使う誤差関数 | 例 | |
|---|---|---|
| 回帰 | 平均二乗誤差 | 家の値段を予測 |
| 分類 | 交差エントロピー | 犬か猫か |
| 分布を近づける | KLダイバージェンス | 確率の出し方をまねる |
| 似ているかを学ぶ | Contrastive・Triplet | 顔認証 |

なにを当てたいかで、ものさしを選ぶんだ!

ルナと推しは「近く」に置いてね♡ 3つ組の残り1人は遠くへ
ミコのメモ(自分あて)
- 回帰は平均二乗誤差、分類は交差エントロピー既読
- MSEはずれを2乗。大はずれを強く罰する既読
- KLは分布のずれ。向きで値が変わり、距離ではない既読
- Contrastiveは2つ1組、Tripletは3つ1組で近い・遠いを学ぶ既読
試験デンデン! 1問だけ
基準となるデータ、それと同じクラスのデータ、別のクラスのデータの3つを1組にして、「同じものは近く、別のものはより遠く」なるように学習させる誤差関数はどれ?
Triplet Lossは、基準(アンカー)・同じもの(ポジティブ)・ちがうもの(ネガティブ)の3つ組で、アンカーとポジティブの距離が、アンカーとネガティブの距離よりマージン分以上小さくなるように学ぶ(顔認証のFaceNetなどで使われた)。平均二乗誤差は回帰、交差エントロピーは分類、KLは2つの確率分布のずれを測るもので、3つ組は使わない。2つ1組で学ぶのはContrastive Loss。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- PyTorch Docs「torch.nn.MSELoss」
- PyTorch Docs「torch.nn.CrossEntropyLoss」
- PyTorch Docs「torch.nn.KLDivLoss」
- Goodfellow, Bengio, Courville「Deep Learning」第3章 Probability and Information Theory(KLダイバージェンス)
- PyTorch Docs「torch.nn.TripletMarginLoss」
- Hadsell, Chopra, LeCun「Dimensionality Reduction by Learning an Invariant Mapping」(CVPR 2006・Contrastive Loss)
- Schroff, Kalenichenko, Philbin「FaceNet: A Unified Embedding for Face Recognition and Clustering」(2015年)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。