#1自然言語処理って、何をするの?

今日は自然言語処理! 自然言語って、自然の言葉? 鳥の声とか?

…ちがう。人がふだん話したり書いたりする言葉。プログラミング言語と区別してそう呼ぶ。

…それをコンピュータで扱うのが自然言語処理。機械翻訳、感情分析、質問応答、文書要約、情報検索。

全部、毎日スマホで使ってるやつじゃん!

感情分析、ルナのメッセージにかけたら全部「好意的」なの♡

それは分析しなくても分かる!
#2まず文をバラす:形態素解析と構文解析

コンピュータって、文をそのまま読めるの?

…まず分ける。日本語は単語の間にスペースがないから、ここが大事。
- 1もとの文:「わたしは学生です」
- 2形態素解析:「わたし/は/学生/です」に分け、名詞・助詞などの品詞もつける
- 3構文解析:どの語がどの語にかかるか、文の組み立てを調べる

形態素って、意味をもつ一番小さいかたまりのこと?

…そう。日本語ではMeCabなどの形態素解析ツールがよく使われる。
#3言葉を数字にする:数えるやり方

…次に、言葉を数字のならび(ベクトル)にする。計算できるようにするため。

…いちばん単純なのがワンホットベクトル。単語ごとに1か所だけ1、残りは全部0。

1万語あったら、1万個の数字のうち1個だけ1! ほぼ0じゃん!
| 中身 | 弱いところ | |
|---|---|---|
| ワンホットベクトル | 単語ごとに1か所だけ1 | 似た意味でも無関係あつかい |
| BoW | 文の中の単語の出現回数 | 語順が消える |
| TF-IDF | 出現回数×珍しさで重みづけ | 意味の近さは分からない |

TF-IDFは、どこにでも出てくる言葉は軽くするのね。「好き」って言いすぎると軽くなるの…?

…ルナの場合、IDFはほぼ0。
#4意味の近さを表す:分散表現

意味の近さを表すには、どうするの?

…単語を、50〜1000個くらいの数字のならびで表す。似た意味の単語は、近い場所に来る。
単語を、意味が似ているほど近くなるように、短めの実数のベクトルで表したもの
Distributed representation / Word embedding ── 「似た文脈に出てくる単語は意味も似ている」という考え方(分布仮説)がもと

…代表が2013年のword2vec。グーグルのミコロフらが発表した。
| CBOW | スキップグラム | |
|---|---|---|
| 予測するもの | まわりの語→まん中の語 | まん中の語→まわりの語 |
| イメージ | 穴埋めクイズ | 連想ゲーム |

「王様−男性+女性」を計算すると「女王」になるってやつ、聞いたことある!

…正確には、計算結果に一番近いベクトルが「女王」だった、という報告。

「彼−元カノ+ルナ」は…「運命」になるはずなの♡

…その単語は、語彙にない。
#5word2vecのその先

word2vecで完成じゃないの?

…弱点が2つ。知らない単語に弱い。1つの単語に1つのベクトルしかない。

…fastTextは、単語を文字のn-gramに分けて学ぶ。だから知らない単語にも強い。

もう1つの弱点は?

…ELMoは、文脈によってベクトルを変える。「彼の手」と「手を打つ」の「手」が別物になる。

同じ単語でも、文の中での意味で数字が変わるんだ!
ミコのメモ(自分あて)
- 形態素解析=文を最小の単位に分け品詞をつける既読
- BoW=出現回数(語順は消える)。TF-IDF=回数×珍しさ既読
- 分散表現=意味が近い単語ほどベクトルも近い既読
- word2vecはCBOW(周り→中心)とスキップグラム(中心→周り)既読
- fastText=文字n-gramで未知語に強い。ELMo=文脈で変わる既読
試験デンデン! 1問だけ
word2vec の学習方法のうち、文の中のある単語から、その周りにある単語を予測するものはどれ?
中心の単語から周りの単語を予測するのはスキップグラム。CBOWは逆に、周りの単語から中心の単語を予測する。TF-IDFは単語の出現回数と珍しさで重みをつける方法、Bag-of-Wordsは語順を無視して単語の出現回数で文を表す方法で、どちらもword2vecの学習方法ではない。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Mikolov ほか「Efficient Estimation of Word Representations in Vector Space」(word2vec, 2013年)
- Bojanowski ほか「Enriching Word Vectors with Subword Information」(fastText, 2016年)
- Peters ほか「Deep contextualized word representations」(ELMo, 2018年)
- Jurafsky & Martin「Speech and Language Processing」3rd ed. draft, Chapter 5 Embeddings
- Jurafsky & Martin「Speech and Language Processing」3rd ed. draft, Chapter 11 Information Retrieval and RAG(TF-IDF)
- MeCab: Yet Another Part-of-Speech and Morphological Analyzer(公式)
「イメージ」欄の穴埋めクイズ・連想ゲームは説明のためのたとえ。ベクトルの次元数(50〜1000くらい)は Jurafsky & Martin の教科書に書かれた目安。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。