G検定 第4章|ディープラーニングの概要

誤差関数(損失関数)

AIの「まちがい度」は、どうやって測るの?

会話で読んで3分

平均二乗誤差交差エントロピーカルバック・ライブラー情報量(KL)Contrastive LossTriplet Loss

♪この章の曲谷底はどこ?登山部

サビで覚えて、下の会話で回収

#1誤差関数は「まちがい度」のものさし

ミコ

AIって、自分がどれくらいまちがえたか、どうやって知るの?

シオン

…誤差関数で測る。予測と正解のずれを、1つの数にする関数。損失関数とも言う。

シオン

…学習とは、この数ができるだけ小さくなるように、重みを直していくこと。

ルナ

ルナと推しの心の距離も、誤差関数で測れる?♡

シオン

…測れる。たぶん、かなり大きい。

ミコ

測らないであげて!

#2数値を当てるなら「平均二乗誤差」

シオン

…家の値段や気温みたいに、数値を当てる回帰では、平均二乗誤差(MSE)がよく使われる。

平均二乗誤差(MSE)

MSE =(予測 − 正解)² の平均

ずれを2乗するので、マイナスのずれもプラスになる。ずれが2倍なら、罰は4倍

ミコ

2乗するってことは、大きくはずすと、ものすごく怒られるんだ!

シオン

…そう。大はずれを特に強く直そうとする。そのぶん、とびぬけた外れ値に引っぱられやすい。

ルナ

ちょっと遅刻しただけなら許すけど、すっぽかしたら4倍怒る…ルナと同じ♡

ミコ

それはMSEじゃなくて、ルナの気分!

#3分類なら「交差エントロピー」

ミコ

じゃあ、犬か猫かを当てる分類は? 同じ2乗でいいの?

シオン

…分類では、交差エントロピーがよく使われる。正解のクラスに出した確率pを見る。

交差エントロピー(正解が1つのとき)

誤差 = − log(正解のクラスに出した確率 p)

p=1なら誤差0。pが0に近づくほど誤差は急に大きくなる。出力層のソフトマックスとよく組み合わせる

ミコ

自信満々にはずすと、めちゃくちゃ誤差が大きくなるんだ!

ルナ

「絶対ルナのこと好き」って思ってたのに違ったときの、あのダメージね…♡

シオン

…それは、誤差というより事故。

#4分布のずれを測る「KLダイバージェンス」

シオン

…2つの確率分布がどれくらいちがうかを測るのが、カルバック・ライブラー情報量。KLダイバージェンスとも言う。

ミコ

距離みたいなもの?

シオン

…近いけど、距離ではない。PからQを見たときと、QからPを見たときで値がちがう。

ルナ

ルナから見た距離と、相手から見た距離がちがう…♡ わかりみが深いの

シオン

…同じだったら0。ずれるほど大きくなる。マイナスにはならない。

#5「似ている」を学ぶ誤差関数

ミコ

顔認証みたいに、「同じ人かどうか」を学ばせるときは?

シオン

…Contrastive Loss。2つ1組で、同じものは近く、ちがうものは一定以上遠くに置くよう学ぶ。

シオン

…Triplet Loss は3つ1組。基準と同じものは近く、ちがうものはそれより遠くに置く。

タスクと誤差関数の組み合わせ
よく使う誤差関数例
回帰平均二乗誤差家の値段を予測
分類交差エントロピー犬か猫か
分布を近づけるKLダイバージェンス確率の出し方をまねる
似ているかを学ぶContrastive・Triplet顔認証
ミコ

なにを当てたいかで、ものさしを選ぶんだ!

ルナ

ルナと推しは「近く」に置いてね♡ 3つ組の残り1人は遠くへ

ミコのメモ(自分あて)

試験デンデン! 1問だけ

基準となるデータ、それと同じクラスのデータ、別のクラスのデータの3つを1組にして、「同じものは近く、別のものはより遠く」なるように学習させる誤差関数はどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第4章のレッスン

  1. ニューラルネットワークとディープラーニング
  2. 活性化関数
  3. 誤差関数(損失関数)
  4. 勾配降下法
  5. 最適化手法(モーメンタム・AdaGrad・RMSprop・Adam)
  6. 誤差逆伝播法
  7. 正則化(L1・L2・ドロップアウト)
  8. ハイパーパラメータの調整