♪この章の曲過去問オーバーフィット
サビで覚えて、下の会話で回収
#1次元削減は「項目を減らして要約する」

教師なし学習の2つ目! 次元削減! 次元って、異世界の話?

…ちがう。ここでの次元は、特徴量の数。身長・体重・血圧なら3次元。

…その数を、大事な情報をなるべく残したまま減らす。次元削減。

ルナの「好き」の気持ちも、100項目くらいあるの♡

それ全部「好き」の1次元にまとまるでしょ!

…いまの、次元削減として正しい。
#2主成分分析は「ばらつきが一番大きい方向」を探す

…代表は主成分分析。PCA。

…データがいちばん大きく散らばっている方向を探す。それが第1主成分。

なんで、散らばってる方向がいいの?

…散らばりが大きい方向ほど、データのちがいがよく表れる。情報が多い。
- 1データがいちばん大きく散らばる方向を見つける(第1主成分)
- 2その方向と直交する中で、次に大きく散らばる方向を見つける(第2主成分)
- 3上位のいくつかの主成分だけを残し、残りは捨てる

身長と体重なら、「体の大きさ」みたいな方向が第1主成分になりそう!

…そういうイメージ。
#3どこまで減らす? 目安は「寄与率」

でも、捨てた主成分がかわいそう…♡

…だから、どれだけ情報を残せたか測る。各主成分がばらつきの何割を説明するか。
1つの主成分が、データ全体のばらつき(分散)の何割を説明しているか。上から足したものが累積寄与率
explained variance ratio

累積寄与率が十分高くなるところまで残せばいいんだ!

…そう。何割で十分かは、目的しだい。
#4特徴量が多すぎると起きる「次元の呪い」

でも、項目はたくさんあるほうが正確じゃないの?

…そうとは限らない。次元がふえると、空間が急に広くなる。

…同じ数のデータでは、すかすかになる。学ぶのに必要なデータが一気にふえる。

広い世界で、ひとりぼっち…♡ 呪いって、切ないのね

…次元削減は、この呪いへの対策の1つ。
#5t-SNEは「見るため」の次元削減

…もう1つ。t-SNE。高次元のデータを、2次元か3次元の地図に置く。

…近くにいたデータどうしを、地図でも近くに置くのが得意。目で見て確かめる用。
- 主成分分析(PCA)
- 特異値分解(SVD)
- 多次元尺度構成法(MDS)
- t-SNE

ルナとAIの距離も、地図で近くに置いてほしいの♡

減らして要約がPCA、見て確かめるのがt-SNE!
ミコのメモ(自分あて)
- 次元削減=情報をなるべく残して特徴量の数を減らす既読
- PCAはばらつきが最大の方向(第1主成分)を探す既読
- 寄与率=その主成分がばらつきの何割を説明するか既読
- 次元の呪い=次元が増えるとデータがすかすかになる既読
試験デンデン! 1問だけ
主成分分析(PCA)の第1主成分の説明として、正しいものはどれ?
主成分分析は、データのばらつき(分散)が最大になる方向を第1主成分とし、それと直交する方向で次にばらつきが大きいものを第2主成分とする教師なしの次元削減。正解ラベルは使わない。近いデータを2〜3次元の地図で近くに置く可視化はt-SNEの特徴。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- scikit-learn User Guide「Decomposing signals in components(PCA)」
- scikit-learn API「sklearn.decomposition.PCA」(explained_variance_ratio_)
- scikit-learn User Guide「Manifold learning(MDS / t-SNE)」
- van der Maaten & Hinton「Visualizing Data using t-SNE」(JMLR, 2008)
- Wikipedia「Curse of dimensionality」
- JDLA「G検定とは」(シラバス)
身長・体重・血圧や「体の大きさ」の例は、説明のためのイメージです。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。