♪この章の曲ねえ、覚えてる?
サビで覚えて、下の会話で回収
#1Seq2Seqの弱点は「1本の要約」

今日は「Attention」! アテンションって、注目って意味だよね!

…その前に「Seq2Seq」。文を読んで、別の文を出すしくみ。翻訳など。

…読む側のRNNが文を1本の決まった長さのベクトルにまとめ、書く側がそれだけを見て訳す。

え、待って。長い文でも、1本にぎゅっと詰めるの? 入りきらなくない!?

…それが弱点。2014年、バダナウたちが「訳すたびに、元の文の必要なところを見直す」方法を出した。

ルナの長文LINEも、1行に要約されたら悲しいもん♡ 見直してほしいの

ルナのは1行でも長いよ!
#2Attentionは「どこを見るか」の重み

…Attentionは、入力の各部分に重みをつけて、重い所を多めに混ぜる。

重みって、どうやって決めるの?

…「クエリ」で探すものを出し、各部分の「キー」と照らし合わせる。似ているほど重い。

…その重みで、各部分の「バリュー」を混ぜたものが答え。
Attention(Q, K, V) = softmax( Q × Kの転置 ÷ √dₖ ) × V
Q=クエリ、K=キー、V=バリュー。QとKの似ている度合いをsoftmaxで合計1の重みにし、その重みでVを混ぜる。√dₖで割るのは値が大きくなりすぎないため(dₖはキーの次元数)

「好きなタイプ」がクエリで、出会った人がキーなのね♡ ぴったりの人ほど重い…

…たとえは合ってる。重いの意味がちがうけど。
#3SelfとSource-Target、どこからどこを見る?

Attentionにも種類があるの?
| Self-Attention | Source-Target Attention | |
|---|---|---|
| クエリの出どころ | 同じ文 | 出力側(デコーダ) |
| キー・バリュー | 同じ文 | 入力側(エンコーダ) |
| わかること | 文の中の単語どうしの関係 | 訳す語と元の文の対応 |

…Self-Attentionは、同じ文の単語どうしで見合う。「それ」が何を指すか、などが分かる。

Source-Targetは、訳している途中で元の文を見に行くやつ!

…そう。Encoder-Decoder Attentionとも呼ぶ。
#4Transformerは、Attentionだけで作った

じゃあ、Attentionを主役にしたモデルが…?

…2017年、Googleのチームの「Attention Is All You Need」。「Transformer」。

…RNNも畳み込みも使わない。Attentionだけ。だから並列に計算できて、学習が速い。

でもRNNがないと、単語の順番が分からなくならない?

…なる。だから位置の情報を、単語のベクトルに足す。「位置エンコーディング」。

…さらに、Attentionを8つ並べて別々の見方をさせる。「Multi-Head Attention」。

8つの目で見つめられるのね…ちょっとこわいけど、うれしい♡

弱点はないの?

…Self-Attentionの計算量は、文の長さの2乗で増える。長い文は重い。
- 2014年Seq2Seq(Sutskeverほか):LSTMで文を1本のベクトルに
- 2014年Bahdanauほか:翻訳にAttentionを入れる
- 2017年Transformer:RNNなし、Attentionだけ
ミコのメモ(自分あて)
- Seq2Seqの弱点=文を1本の固定長ベクトルに詰めること既読
- Attention=クエリとキーで重みを出し、バリューを混ぜる既読
- Self=同じ文どうし、Source-Target=出力側から入力側を見る既読
- Transformer:2017年。RNNなし、Attentionだけ既読
- 順番は位置エンコーディングで補う。Multi-Headで複数の見方既読
試験デンデン! 1問だけ
Transformerで、RNNを使わないために失われる「単語の順番」の情報を補うしくみは?
Transformerは単語を同時に処理するので順番の情報がない。そこで位置ごとの値を単語のベクトルに足す位置エンコーディングで補う。Multi-Head Attentionは複数のAttentionを並べて別々の関係を捉えるしくみ、Source-Target Attentionは出力側から入力側を参照するAttention、教師強制は正解を次の入力に入れる学習法で、どれも順番の情報は補わない。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Sutskever, Vinyals, Le「Sequence to Sequence Learning with Neural Networks」(2014年)
- Bahdanau, Cho, Bengio「Neural Machine Translation by Jointly Learning to Align and Translate」(2014年)
- Vaswani ほか「Attention Is All You Need」(2017年・Transformer)
- Dive into Deep Learning「11.1 Queries, Keys, and Values」
- Dive into Deep Learning「11.6 Self-Attention and Positional Encoding」
- JDLA「G検定とは」(シラバス)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。