#1Transformerは何がすごかった?

今日はTransformer! 変形ロボの?

…ちがう。2017年にGoogleの研究者たちが発表した、言葉を扱うモデル。

…論文の題は「Attention Is All You Need」。必要なのはAttentionだけ。

「必要なのは注目だけ」…ルナのことかと思ったの♡

論文の題をラブレターにしないで!

…それまで主流のRNNは、単語を1つずつ順番に読む。前が終わらないと次に進めない。

…Transformerは、RNNも畳み込みも使わない。全部の単語の関係を一度に計算する。
| RNN | Transformer | |
|---|---|---|
| 読み方 | 1語ずつ順番に | 全部の単語を一度に |
| しくみ | 前の状態を次へ渡す | Self-Attention |
| 学習 | 並列にしにくい | 並列にでき、速い |
| 最初の用途 | ─ | 機械翻訳(英独・英仏) |
#2Self-Attentionで「どの単語に注目するか」

Self-Attentionって、自分に注目? 自分大好き?

…同じ文の中で、各単語がほかのどの単語と関係が深いかを計算する。

…「それ」が何を指すかも、文全体を見て決められる。

「それ」が誰を指すか…ルナも元カノの話のとき、すごく気になるの♡

…Transformerは、文全体を見て推定する。ルナは、聞かないほうがいい。

遠くにある単語どうしでも、すぐつながれるんだ!
#3BERTは穴埋め、GPTは続き

Transformerから、どんなモデルが生まれたの?

…代表が2つ。どちらも2018年。大量の文章で事前学習してから、目的に合わせて調整する。
| BERT | GPT | |
|---|---|---|
| 発表 | OpenAI | |
| 使う部分 | Transformerのエンコーダ | Transformerのデコーダ |
| 事前学習 | 隠した単語を当てる(穴埋め) | 次の単語を当てる(続き) |
| 読む向き | 前後の両方向 | 左から右へ |
| 得意 | 文の理解・分類・質問応答 | 文の生成 |

BERTは、ルナが隠したホンネも前後から当ててくれるのね♡

…BERTは、文の15%の単語を隠して当てる練習をした。ホンネは対象外。

GPTは、文の続きを予測する練習をくり返して、文章を書けるようになったんだ!

…そう。身近なところだと、チャット型のAIサービスもこの系統。
#4大きくすると、できることが増える

モデルの「かしこさ」って、どうやって比べるの?

…たとえばGLUE。文の意味の理解を、いくつものタスクでまとめて採点するベンチマーク。

…そして、モデルとデータをどんどん大きくしたのが、大規模言語モデル。LLM。
大量の文章で事前学習した、とても多くのパラメータをもつ言語モデル。1つのモデルで翻訳・要約・質問応答など多くのタスクをこなす
Large Language Model ── 例:GoogleのPaLM(2022年)はパラメータ数5400億

5400億! 数えてたら一生終わる!

ルナの彼への想いも、5400億パラメータくらいあるの♡

…重さだけなら、互角。
ミコのメモ(自分あて)
- Transformer=RNNなし・Attentionだけ・並列で速い既読
- Self-Attention=文の中の単語どうしの関係を計算既読
- BERT=エンコーダ・両方向・穴埋め(隠した単語を当てる)既読
- GPT=デコーダ・左から右・次の単語を予測既読
- GLUE=言語理解のベンチマーク。PaLMはLLMの例既読
試験デンデン! 1問だけ
文中の一部の単語を隠し、前後両方の文脈からその単語を当てる方法で事前学習した、Transformerのエンコーダを使うモデルはどれ?
隠した単語を前後の両方向から当てる(Masked LM)方法で事前学習したのはBERT。GPTはTransformerのデコーダを使い、左から右へ次の単語を予測して学習する。word2vecは単語のベクトルを学ぶ手法、Seq2SeqはRNN(LSTM)のエンコーダとデコーダで系列を変換するモデルで、どちらもTransformerではない。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Vaswani ほか「Attention Is All You Need」(Transformer, 2017年)
- Devlin ほか「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」(2018年)
- Radford ほか「Improving Language Understanding by Generative Pre-Training」(OpenAI, 2018年)
- Wang ほか「GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding」(2018年)
- Chowdhery ほか「PaLM: Scaling Language Modeling with Pathways」(2022年)
G検定シラバス v1.4(2026年5月改訂)で、自然言語処理のキーワードから ChatGPT・GPT-n は削除された。このページでは GPT を「Transformerのデコーダを使う事前学習モデルの系統」として扱っている。Self-Attention のくわしいしくみは第5章で扱う。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。