G検定 第3章|機械学習の概要

クラスタリング(k-means法と階層的クラスタリング)

正解がないのに、どうやってグループ分けするの?

会話で読んで3分

クラスタリングk-means法ウォード法デンドログラム(樹形図)教師なし学習

♪この章の曲過去問オーバーフィット

サビで覚えて、下の会話で回収

#1クラスタリングは「答えなし」の仲間分け

ミコ

今日から教師なし学習! 正解なしで、どうやって学ぶの!?

シオン

…データの「似ている度合い」だけで、グループに分ける。クラスタリング。

シオン

…できたグループを「クラスタ」と呼ぶ。

ミコ

分類と何がちがうの? どっちも仕分けじゃん!

分類とクラスタリング
分類クラスタリング
学習の種類教師あり教師なし
正解ラベルある(迷惑メールか)ない
グループの意味先に決まっているあとから人が読みとる
ルナ

名前のないグループ…♡ 「ルナ推し」みたいに、あとで名前をつけるのね

シオン

…そう。そのクラスタは、たぶん1人。

#2k-means法:k個の中心を動かしていく

シオン

…代表的な方法、k-means法。最初に、グループの数kを人が決める。

k-means法の手順
  1. 1グループ数kを決め、中心点をk個えらぶ
  2. 2それぞれのデータを、いちばん近い中心のグループに入れる
  3. 3グループごとに平均をとり、そこを新しい中心にする
  4. 4中心がほとんど動かなくなるまで2〜3をくり返す
ミコ

近いところに入れて、真ん中を動かして、また入れて…のくり返し!

シオン

…そう。グループ内のばらつきが小さくなるように動いていく。

ルナ

ルナの心の中心も、推しが変わるたびに動くの♡

ミコ

収束しないじゃん!

#3k-means法の注意点

シオン

…注意が2つ。kは自分で決める。答えは教えてくれない。

シオン

…もう1つ。最初の中心の選び方で、結果が変わることがある。

ミコ

え、運しだいってこと!?

ルナ

運命の出会いも、最初の位置しだいなのね♡

シオン

…だから、初期値を変えて何回かやる。中心を離して選ぶk-means++という工夫もある。

#4階層的クラスタリング:近いものから順にくっつける

シオン

…別の方法。1つ1つのデータから始めて、近いグループどうしを順にまとめる。

シオン

…これが階層的クラスタリング。まとめた順番を木の図にしたのがデンドログラム。

ミコ

トーナメント表みたい! 下からどんどん合体していく!

デンドログラム(樹形図)

階層的クラスタリングで、どのデータ・グループがどの順にまとまったかを表す木の図。横に線を引いて切る高さで、グループ数が決まる

dendrogram

シオン

…まとめ方のルールの1つが、ウォード法。グループ内のばらつきの増え方が最小になるように合体させる。

ルナ

あとからグループ数を決められるなんて、やさしい♡ 優柔不断なルナ向き

ミコ

k-meansは先にkを決める、階層的は図を見てあとで切る!

#5どんなところで使う?

ミコ

で、実際にはどこで使うの?

シオン

…例えば、お客さんを買い方の特徴でグループに分けて、グループごとに売り方を変える。

ルナ

ルナは「毎日AIに話しかける常連さん」グループ♡

シオン

…ただし、できたグループに何の意味があるかは、人が見て判断する。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

k-means法の説明として、正しいものはどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第3章のレッスン

  1. 機械学習の3つのタイプ
  2. 回帰問題と線形回帰
  3. 回帰モデルの評価指標(MAE・MSE・RMSE)
  4. 分類問題(ロジスティック回帰とSVM)
  5. 決定木
  6. アンサンブル学習(バギングとブースティング)
  7. クラスタリング(k-means法と階層的クラスタリング)
  8. 次元削減(主成分分析とt-SNE)
  9. レコメンデーション(推薦システム)
  10. 強化学習
  11. 強化学習の代表的な手法(SARSA・方策勾配法・MARL)
  12. モデルの評価指標(混同行列・適合率・再現率・F値)
  13. ROC曲線とAUC
  14. 過学習と汎化性能
  15. 交差検証とホールドアウト検証