♪この章の曲過去問オーバーフィット
サビで覚えて、下の会話で回収
#1正解のかわりに「ごほうび」で学ぶ

今日は強化学習! 名前からして筋トレっぽい!

…筋トレじゃない。やってみて、結果のごほうびで、やり方を良くしていく学び方。

ワンちゃんが「お手」をしたらおやつをもらう、みたいな?

…イメージはそれ。教師あり学習とちがって、「正解の行動」は教えない。

え、待って。正解なしで、どうやって分かるの?

…行動したあとに返ってくる数字=報酬だけが手がかり。だから試行錯誤する。
| 教師あり学習 | 強化学習 | |
|---|---|---|
| 手がかり | 正解ラベルつきデータ | 行動のあとの報酬 |
| データ | 最初から用意する | 自分で行動して集める |
| 目標 | 正解を当てる | 報酬の合計を最大にする |
#2登場人物は「エージェント」と「環境」

…学んで行動する側がエージェント。それ以外の全部が環境。
- 1エージェントが、いまの状態を受けとる
- 2方策にしたがって行動を選ぶ
- 3環境が変わり、報酬と次の状態が返ってくる
- 4報酬をもとに方策を良くして、1にもどる

方策ってなに? 作戦?

…ほぼ作戦。「この状態ならこの行動」という決め方。

「既読がついたら3分以内に返信」も方策なのね♡

それで報酬もらえてるの!?

……ブロックされたの

…マイナスの報酬。方策を見直して。
#3目先より「合計」が大事

…ねらうのは、その場の報酬じゃない。この先もらえる報酬の合計。

将棋で、駒をわざと取らせて最後に勝つ、みたいな!

…そう。ただし遠い未来の報酬ほど、少し割り引いて数える。その割合が割引率。
G = R1 + γ×R2 + γ²×R3 + …
R は各時点の報酬、γ(ガンマ)は割引率で0以上1以下。γが0に近いほど目先の報酬を重く見る

未来の約束より、今日のおやつってことね♡

…γが小さいとね。ルナは、たぶんγ=0。
#4Q学習:行動の「価値」を表にする

…代表的な手法がQ学習。状態と行動の組ごとに、価値=Q値を学ぶ。
ある状態である行動をとり、その後も上手に行動したときにもらえると見込まれる報酬の合計
Q学習は1989年にワトキンスが提案した。状態の良さだけを表す「状態価値」と区別する

じゃあ、いつもQ値が一番大きい行動を選べば最強じゃん!

…それだと、試してない行動の良さが一生分からない。

…だから、たまにわざとランダムに試す。確率εでランダム、残りは一番良い行動。ε-greedy方策。

いつものお店ばかりじゃなく、たまに新しいお店も開拓するのね♡

…それ。新しく試す「探索」と、知ってる良い手を使う「活用」のバランス。
#5どこで使われてる?

強化学習って、実際どこで使われてるの?

…有名なのは囲碁。2017年のAlphaGo Zeroは、人間の棋譜を使わず自己対局だけで学んだ。

自分とだけ戦って最強に! ストイックすぎ!

…それで、前の世代のAlphaGoに100勝0敗。

前のAlphaGoも、ひとりで修行したの?

…前のは、人間の棋譜で教師あり学習もしてた。そこに自己対局の強化学習を足した。

…囲碁のほか、ロボット制御などでも研究されてる。
ミコのメモ(自分あて)
- 強化学習は正解ラベルなし。行動のあとの報酬で学ぶ既読
- エージェント・環境・状態・行動・報酬・方策の6つ既読
- 目標は報酬の合計の最大化。割引率γで未来を割り引く既読
- Q学習=状態と行動の組の価値(Q値)を学ぶ既読
- ε-greedy=確率εで探索、残りは活用既読
試験デンデン! 1問だけ
強化学習で、エージェントが確率εでランダムに行動を選び、それ以外は現時点で価値が最も高い行動を選ぶやり方を何という?
ε-greedy方策は、探索(ランダムに試す)と活用(今いちばん良い行動を使う)のバランスをとる行動の選び方。方策勾配法は方策そのものを直接パラメータで学ぶ手法、割引率は未来の報酬をどれだけ割り引くかの値、バギングはアンサンブル学習の手法で強化学習の行動選択ではない。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Sutton & Barto「Reinforcement Learning: An Introduction」第2版(2018年。1〜3章・6.5節)
- 同書 PDF(MIT Press版の公開原稿)
- Silver ほか「Mastering the game of Go without human knowledge」Nature 550(2017年)
- Silver ほか「Mastering the game of Go with deep neural networks and tree search」Nature 529(2016年)
「お手とおやつ」「将棋で駒を取らせる」は強化学習の考え方を伝えるためのたとえ。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。