#1深層強化学習って、なにが「深層」なの?

今日のテーマは「深層強化学習」! 強化学習に「深層」がついただけ?

…ほぼ、そう。強化学習は、試して、ごほうび(報酬)をもらって、上達するしくみ。

…そこにディープラーニングを足す。画面のような生のデータから、直接学べる。

ごほうびで上達するなら、ルナも既読をもらえたら、毎日上達するの♡

それは上達じゃなくて、依存!
強化学習の「どの行動がどれだけ良いか」の見積もりなどを、ディープニューラルネットワークで表す方法
Deep Reinforcement Learning ── 画像のような高次元の入力から、直接行動を学べる
#2DQNは、ゲーム画面だけで上達した

…代表が「DQN」。Deep Q-Network。DeepMindの研究チームが発表した。

Qってなに? クイズのQ?

…行動価値。「この場面でこの行動をしたら、この先どれだけ報酬が見込めるか」。

…2013年の論文で、Atariのゲーム7本を、画面のピクセルだけから学んだ。

ルールを教えてないのに!? ヤバ!

…2015年のNature論文では49本。同じしくみのまま、プロのテスターに並ぶ水準。
- 1ゲーム画面(ピクセル)を、CNNに入れる
- 2とれる行動ごとのQ値(行動価値)を出す
- 3Q値が高い行動を選び、たまに試しに別の行動もする
- 4結果と報酬をためておき、ランダムに取り出して学び直す(経験再生)

思い出をためて、あとで何度も見返すの…♡ ルナのスクショフォルダと同じ

…DQNは、見返して上達する。そっちは、見返して落ちこむ。
#3DQNの改良版と、ゲームの外への応用

DQNのあとも、どんどん強くなったの?

…なった。Q値を高く見積もりすぎる癖を直したのが「ダブルDQN」。
| しくみ | ポイント | |
|---|---|---|
| ダブルDQN | Q値の見積もりすぎを抑える | |
| デュエリングネットワーク | 状態の価値と行動の差を分けて計算 | |
| Rainbow | DQNの改良6つを組み合わせた | |
| Agent57 | Atari57本全部で人間の基準超え |

ゲームばっかり! ゲーム以外では使えないの?

…ロボット。ただ、実物で何万回も失敗させると、壊れる。

…だから、シミュレーターで学ばせて、現実に移す。「sim2real」。

…シミュレーターの色や光をわざとバラバラに変えて学ばせる。「ドメインランダマイゼーション」。

練習では毎日ちがうデート服で慣れておくのね♡ 本番に強くなれる

たとえは合ってるのが悔しい!
#4AlphaGoは、人間の棋譜とセルフ対戦で強くなった

囲碁でAIが人間に勝ったのも、これでしょ!

…AlphaGo。2016年3月、トップ棋士のイ・セドル九段に4勝1敗。
- 2015年10月ヨーロッパ王者ファン・フイに5戦全勝(19路の盤で、プロに初めて勝ったプログラム)
- 2016年3月世界タイトル18回のイ・セドル九段に4勝1敗
- 2017年AlphaGo Zero。人間の棋譜なし、ルールとセルフ対戦だけで学ぶ

…最初のAlphaGoは、人間の棋譜で学ぶ教師あり学習と、自分同士で打つ強化学習の合わせ技。

…そこに、先を読む「モンテカルロ木探索」も組み合わせた。

自分同士で打つって…自分と恋愛するみたいで、ちょっとさみしい♡
#5RLHFは、人間の「こっちがいい」で学ぶ

最近よく聞く「RLHF」も、強化学習の仲間?

…そう。人間のフィードバックからの強化学習。報酬を、人間の好みから作る。

…答えを2つ並べて、人が「こっちが良い」と選ぶ。その好みを、報酬モデルに覚えさせる。

報酬の式を書けないときでも、人が選べばいいんだ!

…正解。大規模言語モデルを、人の意図に沿わせるのにも使われている。

「どっちの服がいい?」って聞いて選んでもらうのと同じなの♡

…ただし、AIは選ばれた理由まで覚える。あなたは毎回聞き直す。
ミコのメモ(自分あて)
- 深層強化学習=強化学習+ディープラーニング既読
- DQN=画面からQ値を学ぶ。経験再生を使う既読
- AlphaGo=2016年イ・セドルに4勝1敗。Zeroは棋譜なし既読
- sim2real=シミュレーターで学び現実へ移す既読
- RLHF=人間が選んだ好みを報酬にして学ぶ既読
試験デンデン! 1問だけ
ロボットの制御で、シミュレーターの見た目や物理条件をわざとランダムに変えながら学習させ、現実の環境でも動くようにする工夫を何という?
ドメインランダマイゼーションは、シミュレーターの条件をばらつかせて、現実を「よくある変化の1つ」に見せる工夫で、sim2realの代表的な手法。経験再生はためた経験をランダムに取り出して学び直すDQNの工夫、報酬成形は学びやすいように報酬の与え方を設計すること、デュエリングネットワークは状態の価値と行動ごとの差を分けて計算するネットワーク構造。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Mnih ほか「Playing Atari with Deep Reinforcement Learning」(arXiv・2013年)
- Mnih ほか「Human-level control through deep reinforcement learning」(Nature・2015年)
- Silver ほか「Mastering the game of Go with deep neural networks and tree search」(Nature・2016年)
- Google DeepMind「AlphaGo」
- Silver ほか「Mastering the game of Go without human knowledge」(Nature・2017年)
- van Hasselt ほか「Deep Reinforcement Learning with Double Q-learning」(arXiv・2015年)
- Tobin ほか「Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World」(arXiv・2017年)
- Christiano ほか「Deep reinforcement learning from human preferences」(arXiv・2017年)
- Ouyang ほか「Training language models to follow instructions with human feedback」(arXiv・2022年)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。