G検定 第3章|機械学習の概要

強化学習の代表的な手法(SARSA・方策勾配法・MARL)

Q学習とSARSA、なにがちがうの?

会話で読んで3分

SARSAQ学習方策勾配法Actor-Criticマルチエージェント強化学習

♪この章の曲過去問オーバーフィット

サビで覚えて、下の会話で回収

#1SARSAは5文字の頭文字

ミコ

前回のQ学習の親戚がいるって聞いた! 名前がSARSA!

ルナ

サルサ…♡ 踊れそうな名前なの

シオン

…踊らない。状態・行動・報酬・次の状態・次の行動の、英語の頭文字。

SARSA=更新に使う5つ
  • S 状態(State)
  • A 行動(Action)
  • R 報酬(Reward)
  • S 次の状態(State)
  • A 次の行動(Action)
ミコ

Q学習とどこがちがうの? 同じQ値を学ぶんでしょ?

シオン

…ちがうのは、更新に使う「次の行動」。ここで性格が分かれる。

#2方策オフ型と方策オン型

シオン

…Q学習は、次は「一番良い行動をとる」と仮定して更新する。実際の行動とは別。

シオン

…SARSAは、次に「実際にとる行動」で更新する。だから方策オン型。

ミコ

え、待って。それで結果まで変わるの?

シオン

…変わる。崖のふちを歩く有名な例がある。

崖歩き(ε-greedyで行動)の結果
Q学習SARSA
型方策オフ型方策オン型
覚える道崖ぞいの最短ルート遠回りの安全ルート
学習中ランダムな一歩で時々落ちる落ちにくい
ルナ

Q学習は「最短で会いに行く♡」タイプ、SARSAは「慎重にお付き合い」タイプね

シオン

…たとえは置いといて、学習中の安全を気にするなら、SARSAが向く場面がある。

#3価値を学ぶか、方策を直接学ぶか

ミコ

Q学習もSARSAも、まず「価値」を覚えるんだよね?

シオン

…そう。価値を学んで、そこから行動を決める。これが1つめの流れ。

シオン

…2つめは、方策そのものを直接よくしていく。方策勾配法。

ルナ

点数をつけずに、作戦をいきなり磨くのね♡

強化学習の2つのアプローチ
価値を学ぶ方策を学ぶ
何を学ぶ状態・行動の価値行動の選び方そのもの
代表例Q学習・SARSAREINFORCE
合わせ技Actor-CriticActor-Critic
シオン

…Actor-Criticは両方。Actor(役者)が方策で動き、Critic(批評家)が価値で採点する。

ミコ

役者と批評家! 名前で覚えられる!

#4みんなで学ぶ「マルチエージェント強化学習」

シオン

…最後。エージェントが何体もいる場合。マルチエージェント強化学習、MARL。

ミコ

サッカーのチームみたいに、協力して点を取るやつ?

シオン

…協力だけじゃない。対戦で競うことも、その混ざった形もある。

シオン

…例えば2019年のAlphaStar。StarCraft IIで、ランク上位0.2%のレベルに届いた。

ルナ

みんなで同時に学んだら、ケンカにならない?

シオン

…なる、に近い。相手も学んで変わるから、自分から見た環境が変わり続ける。

ミコ

昨日の攻略法が今日は通じない! それがMARLの難しさか!

ルナ

ルナも毎日気持ちが変わるから、彼から見たらMARLなの♡

シオン

…それは、ただの気分屋。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

強化学習で、行動を選ぶ「方策」を担う部分と、その行動を価値関数で評価する部分を組み合わせた手法はどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

マルチエージェント強化学習(MARL)はシラバスでは「29. 深層強化学習」のキーワード。SARSA・方策勾配法・REINFORCE・Actor-Criticは「9. 強化学習」のキーワード。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第3章のレッスン

  1. 機械学習の3つのタイプ
  2. 回帰問題と線形回帰
  3. 回帰モデルの評価指標(MAE・MSE・RMSE)
  4. 分類問題(ロジスティック回帰とSVM)
  5. 決定木
  6. アンサンブル学習(バギングとブースティング)
  7. クラスタリング(k-means法と階層的クラスタリング)
  8. 次元削減(主成分分析とt-SNE)
  9. レコメンデーション(推薦システム)
  10. 強化学習
  11. 強化学習の代表的な手法(SARSA・方策勾配法・MARL)
  12. モデルの評価指標(混同行列・適合率・再現率・F値)
  13. ROC曲線とAUC
  14. 過学習と汎化性能
  15. 交差検証とホールドアウト検証