G検定 第6章|ディープラーニングの応用例

Transformerと大規模言語モデル

BERTとGPT、どっちもTransformerなのに何がちがうの?

会話で読んで3分

TransformerBERTGPTGLUE大規模言語モデル(LLM)PaLM

#1Transformerは何がすごかった?

ミコ

今日はTransformer! 変形ロボの?

シオン

…ちがう。2017年にGoogleの研究者たちが発表した、言葉を扱うモデル。

シオン

…論文の題は「Attention Is All You Need」。必要なのはAttentionだけ。

ルナ

「必要なのは注目だけ」…ルナのことかと思ったの♡

ミコ

論文の題をラブレターにしないで!

シオン

…それまで主流のRNNは、単語を1つずつ順番に読む。前が終わらないと次に進めない。

シオン

…Transformerは、RNNも畳み込みも使わない。全部の単語の関係を一度に計算する。

RNNとTransformer
RNNTransformer
読み方1語ずつ順番に全部の単語を一度に
しくみ前の状態を次へ渡すSelf-Attention
学習並列にしにくい並列にでき、速い
最初の用途─機械翻訳(英独・英仏)

#2Self-Attentionで「どの単語に注目するか」

ミコ

Self-Attentionって、自分に注目? 自分大好き?

シオン

…同じ文の中で、各単語がほかのどの単語と関係が深いかを計算する。

シオン

…「それ」が何を指すかも、文全体を見て決められる。

ルナ

「それ」が誰を指すか…ルナも元カノの話のとき、すごく気になるの♡

シオン

…Transformerは、文全体を見て推定する。ルナは、聞かないほうがいい。

ミコ

遠くにある単語どうしでも、すぐつながれるんだ!

#3BERTは穴埋め、GPTは続き

ミコ

Transformerから、どんなモデルが生まれたの?

シオン

…代表が2つ。どちらも2018年。大量の文章で事前学習してから、目的に合わせて調整する。

BERTとGPT(2018年の最初の版)
BERTGPT
発表GoogleOpenAI
使う部分TransformerのエンコーダTransformerのデコーダ
事前学習隠した単語を当てる(穴埋め)次の単語を当てる(続き)
読む向き前後の両方向左から右へ
得意文の理解・分類・質問応答文の生成
ルナ

BERTは、ルナが隠したホンネも前後から当ててくれるのね♡

シオン

…BERTは、文の15%の単語を隠して当てる練習をした。ホンネは対象外。

ミコ

GPTは、文の続きを予測する練習をくり返して、文章を書けるようになったんだ!

シオン

…そう。身近なところだと、チャット型のAIサービスもこの系統。

#4大きくすると、できることが増える

ミコ

モデルの「かしこさ」って、どうやって比べるの?

シオン

…たとえばGLUE。文の意味の理解を、いくつものタスクでまとめて採点するベンチマーク。

シオン

…そして、モデルとデータをどんどん大きくしたのが、大規模言語モデル。LLM。

大規模言語モデル(LLM)

大量の文章で事前学習した、とても多くのパラメータをもつ言語モデル。1つのモデルで翻訳・要約・質問応答など多くのタスクをこなす

Large Language Model ── 例:GoogleのPaLM(2022年)はパラメータ数5400億

ミコ

5400億! 数えてたら一生終わる!

ルナ

ルナの彼への想いも、5400億パラメータくらいあるの♡

シオン

…重さだけなら、互角。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

文中の一部の単語を隠し、前後両方の文脈からその単語を当てる方法で事前学習した、Transformerのエンコーダを使うモデルはどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定シラバス v1.4(2026年5月改訂)で、自然言語処理のキーワードから ChatGPT・GPT-n は削除された。このページでは GPT を「Transformerのデコーダを使う事前学習モデルの系統」として扱っている。Self-Attention のくわしいしくみは第5章で扱う。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第6章のレッスン

  1. 画像認識のタスク
  2. 代表的な画像認識モデル
  3. 統計的機械翻訳
  4. 自然言語処理と単語埋め込み
  5. Transformerと大規模言語モデル
  6. 音声処理
  7. 深層強化学習
  8. データ生成(GAN・拡散モデル)
  9. 転移学習・ファインチューニング
  10. マルチモーダル
  11. モデルの解釈性(説明可能AI)
  12. モデルの軽量化