#1学んだことを、別の仕事に使い回す

今日は「転移学習」! AIが転校するの?

…しない。あるタスクで学んだモデルを、別のタスクに使い回す方法。

…大量のデータで先に学ばせる。これが「事前学習」。できたモデルが「事前学習済みモデル」。

前の恋で学んだことを、次の恋に活かすってことね♡

ルナ、毎回ゼロから同じ失敗してない?
大量のデータで先に学習させておいたモデル。これを土台にすると、少ないデータでも新しいタスクを学びやすい
Pre-trained model ── 画像ならImageNetなどの大規模データで学んだCNNが代表例
#2転移学習とファインチューニングのちがい

じゃあ、ファインチューニングとはなにがちがうの?

…土台をどこまで学び直すか。試験では、ここで分けることが多い。
| 転移学習(狭い意味) | ファインチューニング | |
|---|---|---|
| 土台のモデル | 重みを固定する | 一部か全体を学び直す |
| 新しく足した層 | ここだけ学習する | ここも学習する |
| 向いている場面 | データがとても少ない | データがある程度ある |

…画像の土台は、線や形を見分ける力を、もう持っている。だから使い回せる。

基礎体力はそのまま、種目の練習だけする感じ!

ルナも、恋の基礎体力はあるから、相手が変わっても大丈夫なの♡

その自信、どこで事前学習したの!?

…そう。ただ、広い意味では、ファインチューニングも転移学習の一種と呼ぶ。
#3正解ラベルなしで、土台を作る

でも、大量のデータに正解をつけるの、大変じゃない?

…だから「自己教師あり学習」。データ自身から問題を作って、自分で解く。

…例えばBERT。文の一部を隠して、隠した単語を当てる。ラベルのない文章で事前学習できる。

「…の続きはなんでしょう♡」って、自分でクイズを出して自分で答えるの?

…そう。あなたの得意な、ひとり会話。
| 使うデータ | ひとこと | |
|---|---|---|
| 自己教師あり学習 | ラベルなし | データから問題を作る |
| 半教師あり学習 | 少しのラベル+大量のなし | 両方を使って学ぶ |
| Few-shot | 数個の例 | 少しの例で新タスク |
| One-shot | 1個の例 | 1つの例で新タスク |

…BERTは、出力の層を1つ足してファインチューニングするだけで、多くのタスクで当時の最高性能を出した。
#4新しいことを学ぶと、前を忘れる

使い回せるなら、無敵じゃん! 弱点ないの?

…ある。新しいタスクを学ぶと、前に覚えたことが大きく崩れる。「破滅的忘却」。

え、待って。新しいこと覚えたら、前のを全部忘れるの!?

…全部とは限らない。でも、前のタスクの性能がガクッと落ちることがある。

…対策の例は、前のタスクに大事な重みだけ、変わりにくくする方法。

新しい人を好きになると、前の人の誕生日を忘れちゃうの…♡ 破滅的ね

それはただの薄情!

…もう1つ。元のタスクとかけ離れていると、使い回しの効果は薄い。
ミコのメモ(自分あて)
- 転移学習=学習済みモデルを別のタスクに使い回す既読
- 狭い意味の転移学習=土台は固定、足した層だけ学習既読
- ファインチューニング=土台の一部か全体も学び直す既読
- 自己教師あり学習=データ自身から問題を作る既読
- 破滅的忘却=新しく学ぶと前の性能が大きく落ちる既読
試験デンデン! 1問だけ
事前学習済みモデルを別のタスクで学習し直したところ、元のタスクの性能が大きく落ちてしまった。この現象を何という?
新しいタスクの学習で、以前のタスクで覚えたことが大きく失われる現象を破滅的忘却(catastrophic forgetting)という。過学習は訓練データに合わせすぎて未知のデータで性能が落ちること、勾配消失は深い層まで誤差が伝わらず学習が進まないこと、データリーケージは本来使えない情報が学習に混ざって評価が甘くなること。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Devlin ほか「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」(arXiv・2018年)
- Kirkpatrick ほか「Overcoming catastrophic forgetting in neural networks」(arXiv・2016年)
- ImageNet「ImageNet Large Scale Visual Recognition Challenge(ILSVRC)」
- JDLA「G検定シラバス2024」v1.4(2026年5月改訂・「破滅的忘却」へ表記変更)
「転移学習(狭い意味)」と「ファインチューニング」の分け方は、G検定の学習でよく使われる整理です。研究の文献では、ファインチューニングも含めて広く「転移学習」と呼ぶことがあります。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。