G検定 第6章|ディープラーニングの応用例

自然言語処理と単語埋め込み

コンピュータは、言葉をどうやって数字にしているの?

会話で読んで3分

形態素解析TF-IDF分散表現単語埋め込みword2vecfastText

#1自然言語処理って、何をするの?

ミコ

今日は自然言語処理! 自然言語って、自然の言葉? 鳥の声とか?

シオン

…ちがう。人がふだん話したり書いたりする言葉。プログラミング言語と区別してそう呼ぶ。

シオン

…それをコンピュータで扱うのが自然言語処理。機械翻訳、感情分析、質問応答、文書要約、情報検索。

ミコ

全部、毎日スマホで使ってるやつじゃん!

ルナ

感情分析、ルナのメッセージにかけたら全部「好意的」なの♡

ミコ

それは分析しなくても分かる!

#2まず文をバラす:形態素解析と構文解析

ミコ

コンピュータって、文をそのまま読めるの?

シオン

…まず分ける。日本語は単語の間にスペースがないから、ここが大事。

文を分けて、つながりを見る
  1. 1もとの文:「わたしは学生です」
  2. 2形態素解析:「わたし/は/学生/です」に分け、名詞・助詞などの品詞もつける
  3. 3構文解析:どの語がどの語にかかるか、文の組み立てを調べる
ミコ

形態素って、意味をもつ一番小さいかたまりのこと?

シオン

…そう。日本語ではMeCabなどの形態素解析ツールがよく使われる。

#3言葉を数字にする:数えるやり方

シオン

…次に、言葉を数字のならび(ベクトル)にする。計算できるようにするため。

シオン

…いちばん単純なのがワンホットベクトル。単語ごとに1か所だけ1、残りは全部0。

ミコ

1万語あったら、1万個の数字のうち1個だけ1! ほぼ0じゃん!

数えて表すやり方
中身弱いところ
ワンホットベクトル単語ごとに1か所だけ1似た意味でも無関係あつかい
BoW文の中の単語の出現回数語順が消える
TF-IDF出現回数×珍しさで重みづけ意味の近さは分からない
ルナ

TF-IDFは、どこにでも出てくる言葉は軽くするのね。「好き」って言いすぎると軽くなるの…?

シオン

…ルナの場合、IDFはほぼ0。

#4意味の近さを表す:分散表現

ミコ

意味の近さを表すには、どうするの?

シオン

…単語を、50〜1000個くらいの数字のならびで表す。似た意味の単語は、近い場所に来る。

分散表現(単語埋め込み)

単語を、意味が似ているほど近くなるように、短めの実数のベクトルで表したもの

Distributed representation / Word embedding ── 「似た文脈に出てくる単語は意味も似ている」という考え方(分布仮説)がもと

シオン

…代表が2013年のword2vec。グーグルのミコロフらが発表した。

word2vecの2つの学び方
CBOWスキップグラム
予測するものまわりの語→まん中の語まん中の語→まわりの語
イメージ穴埋めクイズ連想ゲーム
ミコ

「王様−男性+女性」を計算すると「女王」になるってやつ、聞いたことある!

シオン

…正確には、計算結果に一番近いベクトルが「女王」だった、という報告。

ルナ

「彼−元カノ+ルナ」は…「運命」になるはずなの♡

シオン

…その単語は、語彙にない。

#5word2vecのその先

ミコ

word2vecで完成じゃないの?

シオン

…弱点が2つ。知らない単語に弱い。1つの単語に1つのベクトルしかない。

シオン

…fastTextは、単語を文字のn-gramに分けて学ぶ。だから知らない単語にも強い。

ミコ

もう1つの弱点は?

シオン

…ELMoは、文脈によってベクトルを変える。「彼の手」と「手を打つ」の「手」が別物になる。

ミコ

同じ単語でも、文の中での意味で数字が変わるんだ!

ミコのメモ(自分あて)

試験デンデン! 1問だけ

word2vec の学習方法のうち、文の中のある単語から、その周りにある単語を予測するものはどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

「イメージ」欄の穴埋めクイズ・連想ゲームは説明のためのたとえ。ベクトルの次元数(50〜1000くらい)は Jurafsky & Martin の教科書に書かれた目安。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第6章のレッスン

  1. 画像認識のタスク
  2. 代表的な画像認識モデル
  3. 統計的機械翻訳
  4. 自然言語処理と単語埋め込み
  5. Transformerと大規模言語モデル
  6. 音声処理
  7. 深層強化学習
  8. データ生成(GAN・拡散モデル)
  9. 転移学習・ファインチューニング
  10. マルチモーダル
  11. モデルの解釈性(説明可能AI)
  12. モデルの軽量化