G検定 第9章|AIに必要な数理・統計知識

分散と標準偏差

平均点が同じでも、ちがうクラスってどういうこと?

会話で読んで3分

分散標準偏差偏差偏差値標準化

#1平均が同じでも、中身がちがう

ミコ

テストの平均点、AクラスもBクラスも50点! 同じレベルってことだよね!

シオン

…中身を見る。Aは45、45、55、55。Bは0、0、100、100。

ミコ

え、待って。Bクラス、0点か100点しかいないじゃん!

ルナ

Bクラスは、恋も勉強も全力か0か、なのね…♡ ルナと同じなの

ミコ

0か100かは、恋だけにして!

シオン

…平均だけでは、この「散らばり」が見えない。それを数字にするのが、分散と標準偏差。

#2分散は「平均からのずれ」を2乗して平均

ミコ

平均からどれだけ離れてるか、を平均すればいいんじゃない?

シオン

…各データと平均の差が「偏差」。でも偏差をそのまま足すと、プラスとマイナスで必ず0になる。

ミコ

Aなら、−5、−5、+5、+5。足すと…0! ほんとだ!

シオン

…だから2乗して、マイナスを消してから平均する。それが「分散」。

分散

分散 ={(各データ − 平均)² の合計}÷ データの個数

Aクラス:(25+25+25+25)÷ 4 = 25。Bクラス:(2500×4)÷ 4 = 2500

ミコ

Aは25、Bは2500! 散らばりの差が、ちゃんと数字に出た!

ルナ

2乗するなんて、想いが重くなるのね…♡

ミコ

重くなるのは単位のほう!

#3単位をもどすのが「標準偏差」

シオン

…ミコの言うとおり。2乗したから、分散の単位は「点の2乗」。そのままだと読みにくい。

シオン

…そこで分散の平方根をとる。それが「標準偏差」。元のデータと単位がそろう。

標準偏差

標準偏差 = √分散

Aクラス:√25 = 5点。Bクラス:√2500 = 50点。「平均から、だいたい何点くらい離れているか」の目安

ミコ

Aはだいたい平均±5点、Bは±50点! これなら感覚で分かる!

シオン

…工場でも使う。部品のサイズの標準偏差が大きくなったら、機械の不調を疑う。

ルナ

ルナの気分も、毎日の標準偏差が大きいの♡

ミコ

それは不調じゃなくて、ルナの通常運転!

#4偏差値と標準化

ミコ

標準偏差って、もしかして「偏差値」と関係ある?

シオン

…ある。平均を50、標準偏差を10に置きかえた点数が、偏差値。

偏差値

偏差値 = 50 + 10 ×(得点 − 平均)÷ 標準偏差

平均42点・標準偏差8点のテストで58点なら、50+10×16÷8=70。ちがうテストどうしを比べられる

シオン

…(得点−平均)÷標準偏差の部分を「標準化」という。AIの前処理でもよく使う。

ミコ

身長はcm、体重はkgみたいに、単位がちがうデータの大きさをそろえるんだ!

ルナ

ルナの「好き」も標準化したら、偏差値いくつかな♡

シオン

…外れ値。測定不能。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

データ「2, 4, 6, 8」の分散と標準偏差の組み合わせとして正しいものはどれ?(データの個数で割る分散とする)

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

クラスの点数は、計算しやすくした説明用のイメージです。この記事の分散は「データの個数で割る」ものです。標本から母集団の分散を推定するときは「個数−1」で割る(不偏分散)こともあります。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第9章のレッスン

  1. 代表値(平均値・中央値・最頻値)と外れ値
  2. 分散と標準偏差
  3. 確率分布(正規分布・二項分布・ポアソン分布)
  4. 相関係数と疑似相関(相関と因果)
  5. 微分と勾配降下法(最適化の数学)