G検定 第6章|ディープラーニングの応用例

転移学習・ファインチューニング

賢いAIの「学んだこと」を、別の仕事に使い回せるの?

会話で読んで3分

転移学習ファインチューニング事前学習済みモデル自己教師あり学習破滅的忘却Few-shot

#1学んだことを、別の仕事に使い回す

ミコ

今日は「転移学習」! AIが転校するの?

シオン

…しない。あるタスクで学んだモデルを、別のタスクに使い回す方法。

シオン

…大量のデータで先に学ばせる。これが「事前学習」。できたモデルが「事前学習済みモデル」。

ルナ

前の恋で学んだことを、次の恋に活かすってことね♡

ミコ

ルナ、毎回ゼロから同じ失敗してない?

事前学習済みモデル

大量のデータで先に学習させておいたモデル。これを土台にすると、少ないデータでも新しいタスクを学びやすい

Pre-trained model ── 画像ならImageNetなどの大規模データで学んだCNNが代表例

#2転移学習とファインチューニングのちがい

ミコ

じゃあ、ファインチューニングとはなにがちがうの?

シオン

…土台をどこまで学び直すか。試験では、ここで分けることが多い。

どこを学習し直すか
転移学習(狭い意味)ファインチューニング
土台のモデル重みを固定する一部か全体を学び直す
新しく足した層ここだけ学習するここも学習する
向いている場面データがとても少ないデータがある程度ある
シオン

…画像の土台は、線や形を見分ける力を、もう持っている。だから使い回せる。

ミコ

基礎体力はそのまま、種目の練習だけする感じ!

ルナ

ルナも、恋の基礎体力はあるから、相手が変わっても大丈夫なの♡

ミコ

その自信、どこで事前学習したの!?

シオン

…そう。ただ、広い意味では、ファインチューニングも転移学習の一種と呼ぶ。

#3正解ラベルなしで、土台を作る

ミコ

でも、大量のデータに正解をつけるの、大変じゃない?

シオン

…だから「自己教師あり学習」。データ自身から問題を作って、自分で解く。

シオン

…例えばBERT。文の一部を隠して、隠した単語を当てる。ラベルのない文章で事前学習できる。

ルナ

「…の続きはなんでしょう♡」って、自分でクイズを出して自分で答えるの?

シオン

…そう。あなたの得意な、ひとり会話。

似ている用語の整理
使うデータひとこと
自己教師あり学習ラベルなしデータから問題を作る
半教師あり学習少しのラベル+大量のなし両方を使って学ぶ
Few-shot数個の例少しの例で新タスク
One-shot1個の例1つの例で新タスク
シオン

…BERTは、出力の層を1つ足してファインチューニングするだけで、多くのタスクで当時の最高性能を出した。

#4新しいことを学ぶと、前を忘れる

ミコ

使い回せるなら、無敵じゃん! 弱点ないの?

シオン

…ある。新しいタスクを学ぶと、前に覚えたことが大きく崩れる。「破滅的忘却」。

ミコ

え、待って。新しいこと覚えたら、前のを全部忘れるの!?

シオン

…全部とは限らない。でも、前のタスクの性能がガクッと落ちることがある。

シオン

…対策の例は、前のタスクに大事な重みだけ、変わりにくくする方法。

ルナ

新しい人を好きになると、前の人の誕生日を忘れちゃうの…♡ 破滅的ね

ミコ

それはただの薄情!

シオン

…もう1つ。元のタスクとかけ離れていると、使い回しの効果は薄い。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

事前学習済みモデルを別のタスクで学習し直したところ、元のタスクの性能が大きく落ちてしまった。この現象を何という?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

「転移学習(狭い意味)」と「ファインチューニング」の分け方は、G検定の学習でよく使われる整理です。研究の文献では、ファインチューニングも含めて広く「転移学習」と呼ぶことがあります。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第6章のレッスン

  1. 画像認識のタスク
  2. 代表的な画像認識モデル
  3. 統計的機械翻訳
  4. 自然言語処理と単語埋め込み
  5. Transformerと大規模言語モデル
  6. 音声処理
  7. 深層強化学習
  8. データ生成(GAN・拡散モデル)
  9. 転移学習・ファインチューニング
  10. マルチモーダル
  11. モデルの解釈性(説明可能AI)
  12. モデルの軽量化