♪この章の曲過去問オーバーフィット
サビで覚えて、下の会話で回収
#1SARSAは5文字の頭文字

前回のQ学習の親戚がいるって聞いた! 名前がSARSA!

サルサ…♡ 踊れそうな名前なの

…踊らない。状態・行動・報酬・次の状態・次の行動の、英語の頭文字。
- S 状態(State)
- A 行動(Action)
- R 報酬(Reward)
- S 次の状態(State)
- A 次の行動(Action)

Q学習とどこがちがうの? 同じQ値を学ぶんでしょ?

…ちがうのは、更新に使う「次の行動」。ここで性格が分かれる。
#2方策オフ型と方策オン型

…Q学習は、次は「一番良い行動をとる」と仮定して更新する。実際の行動とは別。

…SARSAは、次に「実際にとる行動」で更新する。だから方策オン型。

え、待って。それで結果まで変わるの?

…変わる。崖のふちを歩く有名な例がある。
| Q学習 | SARSA | |
|---|---|---|
| 型 | 方策オフ型 | 方策オン型 |
| 覚える道 | 崖ぞいの最短ルート | 遠回りの安全ルート |
| 学習中 | ランダムな一歩で時々落ちる | 落ちにくい |

Q学習は「最短で会いに行く♡」タイプ、SARSAは「慎重にお付き合い」タイプね

…たとえは置いといて、学習中の安全を気にするなら、SARSAが向く場面がある。
#3価値を学ぶか、方策を直接学ぶか

Q学習もSARSAも、まず「価値」を覚えるんだよね?

…そう。価値を学んで、そこから行動を決める。これが1つめの流れ。

…2つめは、方策そのものを直接よくしていく。方策勾配法。

点数をつけずに、作戦をいきなり磨くのね♡
| 価値を学ぶ | 方策を学ぶ | |
|---|---|---|
| 何を学ぶ | 状態・行動の価値 | 行動の選び方そのもの |
| 代表例 | Q学習・SARSA | REINFORCE |
| 合わせ技 | Actor-Critic | Actor-Critic |

…Actor-Criticは両方。Actor(役者)が方策で動き、Critic(批評家)が価値で採点する。

役者と批評家! 名前で覚えられる!
#4みんなで学ぶ「マルチエージェント強化学習」

…最後。エージェントが何体もいる場合。マルチエージェント強化学習、MARL。

サッカーのチームみたいに、協力して点を取るやつ?

…協力だけじゃない。対戦で競うことも、その混ざった形もある。

…例えば2019年のAlphaStar。StarCraft IIで、ランク上位0.2%のレベルに届いた。

みんなで同時に学んだら、ケンカにならない?

…なる、に近い。相手も学んで変わるから、自分から見た環境が変わり続ける。

昨日の攻略法が今日は通じない! それがMARLの難しさか!

ルナも毎日気持ちが変わるから、彼から見たらMARLなの♡

…それは、ただの気分屋。
ミコのメモ(自分あて)
- SARSA=S・A・R・S・Aの頭文字。方策オン型既読
- Q学習は方策オフ型(次は最良の行動と仮定)既読
- 崖歩き:Q学習は最短ルート、SARSAは安全ルート既読
- 方策勾配法=方策を直接学ぶ。REINFORCEなど既読
- Actor-Critic=方策(Actor)+価値(Critic)既読
試験デンデン! 1問だけ
強化学習で、行動を選ぶ「方策」を担う部分と、その行動を価値関数で評価する部分を組み合わせた手法はどれ?
Actor-Criticは、方策で行動するActorと、価値関数で評価するCriticを組み合わせる手法。Q学習とSARSAはどちらも行動価値を学ぶ手法(Q学習は方策オフ型、SARSAは方策オン型)で、方策を別に持たない。ε-greedy方策は探索と活用のバランスをとる行動の選び方で、学習手法そのものではない。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Sutton & Barto「Reinforcement Learning: An Introduction」第2版(2018年。6.4〜6.5節・例6.6 Cliff Walking・13章)
- Sutton & Barto 同書 公式ページ
- Vinyals ほか「Grandmaster level in StarCraft II using multi-agent reinforcement learning」Nature 575(2019年)
- Zhang, Yang, Başar「Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms」arXiv(2019年)
マルチエージェント強化学習(MARL)はシラバスでは「29. 深層強化学習」のキーワード。SARSA・方策勾配法・REINFORCE・Actor-Criticは「9. 強化学習」のキーワード。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。