G検定 第6章|ディープラーニングの応用例

深層強化学習

AIがゲームや囲碁で人間に勝てたのはなぜ?

会話で読んで3分

深層強化学習DQNAlphaGoRLHFsim2realダブルDQN

#1深層強化学習って、なにが「深層」なの?

ミコ

今日のテーマは「深層強化学習」! 強化学習に「深層」がついただけ?

シオン

…ほぼ、そう。強化学習は、試して、ごほうび(報酬)をもらって、上達するしくみ。

シオン

…そこにディープラーニングを足す。画面のような生のデータから、直接学べる。

ルナ

ごほうびで上達するなら、ルナも既読をもらえたら、毎日上達するの♡

ミコ

それは上達じゃなくて、依存!

深層強化学習

強化学習の「どの行動がどれだけ良いか」の見積もりなどを、ディープニューラルネットワークで表す方法

Deep Reinforcement Learning ── 画像のような高次元の入力から、直接行動を学べる

#2DQNは、ゲーム画面だけで上達した

シオン

…代表が「DQN」。Deep Q-Network。DeepMindの研究チームが発表した。

ミコ

Qってなに? クイズのQ?

シオン

…行動価値。「この場面でこの行動をしたら、この先どれだけ報酬が見込めるか」。

シオン

…2013年の論文で、Atariのゲーム7本を、画面のピクセルだけから学んだ。

ミコ

ルールを教えてないのに!? ヤバ!

シオン

…2015年のNature論文では49本。同じしくみのまま、プロのテスターに並ぶ水準。

DQNが学ぶ流れ
  1. 1ゲーム画面(ピクセル)を、CNNに入れる
  2. 2とれる行動ごとのQ値(行動価値)を出す
  3. 3Q値が高い行動を選び、たまに試しに別の行動もする
  4. 4結果と報酬をためておき、ランダムに取り出して学び直す(経験再生)
ルナ

思い出をためて、あとで何度も見返すの…♡ ルナのスクショフォルダと同じ

シオン

…DQNは、見返して上達する。そっちは、見返して落ちこむ。

#3DQNの改良版と、ゲームの外への応用

ミコ

DQNのあとも、どんどん強くなったの?

シオン

…なった。Q値を高く見積もりすぎる癖を直したのが「ダブルDQN」。

DQNから生まれた主な手法
しくみポイント
ダブルDQNQ値の見積もりすぎを抑える
デュエリングネットワーク状態の価値と行動の差を分けて計算
RainbowDQNの改良6つを組み合わせた
Agent57Atari57本全部で人間の基準超え
ミコ

ゲームばっかり! ゲーム以外では使えないの?

シオン

…ロボット。ただ、実物で何万回も失敗させると、壊れる。

シオン

…だから、シミュレーターで学ばせて、現実に移す。「sim2real」。

シオン

…シミュレーターの色や光をわざとバラバラに変えて学ばせる。「ドメインランダマイゼーション」。

ルナ

練習では毎日ちがうデート服で慣れておくのね♡ 本番に強くなれる

ミコ

たとえは合ってるのが悔しい!

#4AlphaGoは、人間の棋譜とセルフ対戦で強くなった

ミコ

囲碁でAIが人間に勝ったのも、これでしょ!

シオン

…AlphaGo。2016年3月、トップ棋士のイ・セドル九段に4勝1敗。

AlphaGoの歩み
  • 2015年10月ヨーロッパ王者ファン・フイに5戦全勝(19路の盤で、プロに初めて勝ったプログラム)
  • 2016年3月世界タイトル18回のイ・セドル九段に4勝1敗
  • 2017年AlphaGo Zero。人間の棋譜なし、ルールとセルフ対戦だけで学ぶ
シオン

…最初のAlphaGoは、人間の棋譜で学ぶ教師あり学習と、自分同士で打つ強化学習の合わせ技。

シオン

…そこに、先を読む「モンテカルロ木探索」も組み合わせた。

ルナ

自分同士で打つって…自分と恋愛するみたいで、ちょっとさみしい♡

#5RLHFは、人間の「こっちがいい」で学ぶ

ミコ

最近よく聞く「RLHF」も、強化学習の仲間?

シオン

…そう。人間のフィードバックからの強化学習。報酬を、人間の好みから作る。

シオン

…答えを2つ並べて、人が「こっちが良い」と選ぶ。その好みを、報酬モデルに覚えさせる。

ミコ

報酬の式を書けないときでも、人が選べばいいんだ!

シオン

…正解。大規模言語モデルを、人の意図に沿わせるのにも使われている。

ルナ

「どっちの服がいい?」って聞いて選んでもらうのと同じなの♡

シオン

…ただし、AIは選ばれた理由まで覚える。あなたは毎回聞き直す。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

ロボットの制御で、シミュレーターの見た目や物理条件をわざとランダムに変えながら学習させ、現実の環境でも動くようにする工夫を何という?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第6章のレッスン

  1. 画像認識のタスク
  2. 代表的な画像認識モデル
  3. 統計的機械翻訳
  4. 自然言語処理と単語埋め込み
  5. Transformerと大規模言語モデル
  6. 音声処理
  7. 深層強化学習
  8. データ生成(GAN・拡散モデル)
  9. 転移学習・ファインチューニング
  10. マルチモーダル
  11. モデルの解釈性(説明可能AI)
  12. モデルの軽量化