G検定 第3章|機械学習の概要

強化学習

正解を教えないのに、どうやって賢くなるの?

会話で読んで3分

強化学習エージェント報酬方策割引率Q学習

♪この章の曲過去問オーバーフィット

サビで覚えて、下の会話で回収

#1正解のかわりに「ごほうび」で学ぶ

ミコ

今日は強化学習! 名前からして筋トレっぽい!

シオン

…筋トレじゃない。やってみて、結果のごほうびで、やり方を良くしていく学び方。

ルナ

ワンちゃんが「お手」をしたらおやつをもらう、みたいな?

シオン

…イメージはそれ。教師あり学習とちがって、「正解の行動」は教えない。

ミコ

え、待って。正解なしで、どうやって分かるの?

シオン

…行動したあとに返ってくる数字=報酬だけが手がかり。だから試行錯誤する。

3つの学び方のちがい
教師あり学習強化学習
手がかり正解ラベルつきデータ行動のあとの報酬
データ最初から用意する自分で行動して集める
目標正解を当てる報酬の合計を最大にする

#2登場人物は「エージェント」と「環境」

シオン

…学んで行動する側がエージェント。それ以外の全部が環境。

強化学習のくり返し
  1. 1エージェントが、いまの状態を受けとる
  2. 2方策にしたがって行動を選ぶ
  3. 3環境が変わり、報酬と次の状態が返ってくる
  4. 4報酬をもとに方策を良くして、1にもどる
ミコ

方策ってなに? 作戦?

シオン

…ほぼ作戦。「この状態ならこの行動」という決め方。

ルナ

「既読がついたら3分以内に返信」も方策なのね♡

ミコ

それで報酬もらえてるの!?

ルナ

……ブロックされたの

シオン

…マイナスの報酬。方策を見直して。

#3目先より「合計」が大事

シオン

…ねらうのは、その場の報酬じゃない。この先もらえる報酬の合計。

ミコ

将棋で、駒をわざと取らせて最後に勝つ、みたいな!

シオン

…そう。ただし遠い未来の報酬ほど、少し割り引いて数える。その割合が割引率。

割引つきの報酬の合計(収益)

G = R1 + γ×R2 + γ²×R3 + …

R は各時点の報酬、γ(ガンマ)は割引率で0以上1以下。γが0に近いほど目先の報酬を重く見る

ルナ

未来の約束より、今日のおやつってことね♡

シオン

…γが小さいとね。ルナは、たぶんγ=0。

#4Q学習:行動の「価値」を表にする

シオン

…代表的な手法がQ学習。状態と行動の組ごとに、価値=Q値を学ぶ。

Q値(行動価値)

ある状態である行動をとり、その後も上手に行動したときにもらえると見込まれる報酬の合計

Q学習は1989年にワトキンスが提案した。状態の良さだけを表す「状態価値」と区別する

ミコ

じゃあ、いつもQ値が一番大きい行動を選べば最強じゃん!

シオン

…それだと、試してない行動の良さが一生分からない。

シオン

…だから、たまにわざとランダムに試す。確率εでランダム、残りは一番良い行動。ε-greedy方策。

ルナ

いつものお店ばかりじゃなく、たまに新しいお店も開拓するのね♡

シオン

…それ。新しく試す「探索」と、知ってる良い手を使う「活用」のバランス。

#5どこで使われてる?

ミコ

強化学習って、実際どこで使われてるの?

シオン

…有名なのは囲碁。2017年のAlphaGo Zeroは、人間の棋譜を使わず自己対局だけで学んだ。

ミコ

自分とだけ戦って最強に! ストイックすぎ!

シオン

…それで、前の世代のAlphaGoに100勝0敗。

ルナ

前のAlphaGoも、ひとりで修行したの?

シオン

…前のは、人間の棋譜で教師あり学習もしてた。そこに自己対局の強化学習を足した。

シオン

…囲碁のほか、ロボット制御などでも研究されてる。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

強化学習で、エージェントが確率εでランダムに行動を選び、それ以外は現時点で価値が最も高い行動を選ぶやり方を何という?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

「お手とおやつ」「将棋で駒を取らせる」は強化学習の考え方を伝えるためのたとえ。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第3章のレッスン

  1. 機械学習の3つのタイプ
  2. 回帰問題と線形回帰
  3. 回帰モデルの評価指標(MAE・MSE・RMSE)
  4. 分類問題(ロジスティック回帰とSVM)
  5. 決定木
  6. アンサンブル学習(バギングとブースティング)
  7. クラスタリング(k-means法と階層的クラスタリング)
  8. 次元削減(主成分分析とt-SNE)
  9. レコメンデーション(推薦システム)
  10. 強化学習
  11. 強化学習の代表的な手法(SARSA・方策勾配法・MARL)
  12. モデルの評価指標(混同行列・適合率・再現率・F値)
  13. ROC曲線とAUC
  14. 過学習と汎化性能
  15. 交差検証とホールドアウト検証