G検定 第5章|ディープラーニングの要素技術

AttentionとTransformer

「どこに注目するか」を、AIはどうやって決めてるの?

会話で読んで3分

AttentionSeq2SeqSelf-AttentionSource-Target AttentionTransformer位置エンコーディング

♪この章の曲ねえ、覚えてる?

サビで覚えて、下の会話で回収

#1Seq2Seqの弱点は「1本の要約」

ミコ

今日は「Attention」! アテンションって、注目って意味だよね!

シオン

…その前に「Seq2Seq」。文を読んで、別の文を出すしくみ。翻訳など。

シオン

…読む側のRNNが文を1本の決まった長さのベクトルにまとめ、書く側がそれだけを見て訳す。

ミコ

え、待って。長い文でも、1本にぎゅっと詰めるの? 入りきらなくない!?

シオン

…それが弱点。2014年、バダナウたちが「訳すたびに、元の文の必要なところを見直す」方法を出した。

ルナ

ルナの長文LINEも、1行に要約されたら悲しいもん♡ 見直してほしいの

ミコ

ルナのは1行でも長いよ!

#2Attentionは「どこを見るか」の重み

シオン

…Attentionは、入力の各部分に重みをつけて、重い所を多めに混ぜる。

ミコ

重みって、どうやって決めるの?

シオン

…「クエリ」で探すものを出し、各部分の「キー」と照らし合わせる。似ているほど重い。

シオン

…その重みで、各部分の「バリュー」を混ぜたものが答え。

Transformerで使うAttentionの計算

Attention(Q, K, V) = softmax( Q × Kの転置 ÷ √dₖ ) × V

Q=クエリ、K=キー、V=バリュー。QとKの似ている度合いをsoftmaxで合計1の重みにし、その重みでVを混ぜる。√dₖで割るのは値が大きくなりすぎないため(dₖはキーの次元数)

ルナ

「好きなタイプ」がクエリで、出会った人がキーなのね♡ ぴったりの人ほど重い…

シオン

…たとえは合ってる。重いの意味がちがうけど。

#3SelfとSource-Target、どこからどこを見る?

ミコ

Attentionにも種類があるの?

2つのAttention
Self-AttentionSource-Target Attention
クエリの出どころ同じ文出力側(デコーダ)
キー・バリュー同じ文入力側(エンコーダ)
わかること文の中の単語どうしの関係訳す語と元の文の対応
シオン

…Self-Attentionは、同じ文の単語どうしで見合う。「それ」が何を指すか、などが分かる。

ミコ

Source-Targetは、訳している途中で元の文を見に行くやつ!

シオン

…そう。Encoder-Decoder Attentionとも呼ぶ。

#4Transformerは、Attentionだけで作った

ミコ

じゃあ、Attentionを主役にしたモデルが…?

シオン

…2017年、Googleのチームの「Attention Is All You Need」。「Transformer」。

シオン

…RNNも畳み込みも使わない。Attentionだけ。だから並列に計算できて、学習が速い。

ミコ

でもRNNがないと、単語の順番が分からなくならない?

シオン

…なる。だから位置の情報を、単語のベクトルに足す。「位置エンコーディング」。

シオン

…さらに、Attentionを8つ並べて別々の見方をさせる。「Multi-Head Attention」。

ルナ

8つの目で見つめられるのね…ちょっとこわいけど、うれしい♡

ミコ

弱点はないの?

シオン

…Self-Attentionの計算量は、文の長さの2乗で増える。長い文は重い。

Attentionの年表
  • 2014年Seq2Seq(Sutskeverほか):LSTMで文を1本のベクトルに
  • 2014年Bahdanauほか:翻訳にAttentionを入れる
  • 2017年Transformer:RNNなし、Attentionだけ

ミコのメモ(自分あて)

試験デンデン! 1問だけ

Transformerで、RNNを使わないために失われる「単語の順番」の情報を補うしくみは?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第5章のレッスン

  1. 畳み込み層(CNN)
  2. プーリング層
  3. スキップ結合(ResNet)
  4. 正規化層
  5. 回帰結合層(RNN)
  6. LSTMとGRU
  7. AttentionとTransformer
  8. オートエンコーダ
  9. データ拡張