G検定 第6章|ディープラーニングの応用例

統計的機械翻訳

ニューラルネット以前の翻訳AIは、どうやって訳していたの?

会話で読んで3分

統計的機械翻訳機械翻訳n-gramSeq2Seq

#1翻訳AIにも「昔のやり方」がある

ミコ

今日は翻訳! 翻訳アプリって、昔からずっと今と同じしくみなの?

シオン

…ちがう。大きく3世代。人がルールを書く時代、統計の時代、ニューラルネットの時代。

ミコ

3世代! ゲームのハードみたいに、どんどん新しくなったんだ!

機械翻訳の移り変わり
  • 〜1980年代ルールベース。人が文法や辞書のルールを書く
  • 1990年ごろ〜統計的機械翻訳。IBMの研究グループが対訳データから確率を学ぶ方法を発表
  • 2000年代単語ではなく「フレーズ」単位で訳すフレーズベース翻訳が主流に
  • 2014年Seq2Seq(系列から系列へ変換するニューラルネット)で翻訳
  • 2016年11月Google翻訳が日本語などでニューラル機械翻訳に切りかえ
ルナ

ルールを人が全部書くの? ルナの恋愛ルールブック、もう300ページあるの♡

シオン

…それでも例外に負ける。言葉も同じ。だから統計に移った。

#2対訳データから「確率」を学ぶ

ミコ

統計って、何を数えるの?

シオン

…同じ内容が2つの言語で書かれた文の組、「対訳コーパス」を大量に集める。

シオン

…そこから「この単語は、こう訳されることが多い」を確率として学ぶ。

ミコ

ロゼッタストーンみたい! 同じ文が3種類の文字で書いてあって、解読できたやつ!

シオン

…いいたとえ。カナダ議会の英仏の議事録が、初期の大事なデータだった。

ルナ

議事録で愛を学ぶの…? ロマンがなさすぎる♡

ミコ

翻訳の話だから!

#3「訳の正しさ」と「文の自然さ」をかけ算

シオン

…統計的機械翻訳は、2つのモデルの点数をかけ算して、いちばん高い訳を選ぶ。

統計的機械翻訳の考え方(英語→日本語の場合)

いちばんよい訳 = 点数が最大の訳(翻訳モデルの確率 × 言語モデルの確率)

翻訳モデル=元の英文と意味が合っているか。言語モデル=日本語として自然な並びか

ミコ

意味が合ってても、日本語として変ならダメってことか!

シオン

…そう。言語モデルには「n-gram」を使った。連続するn個の単語の出やすさ。

n-gramの例(「わたし は 学生 です」)
  • 1-gram:わたし/は/学生/です
  • 2-gram:わたし は/は 学生/学生 です
  • 3-gram:わたし は 学生/は 学生 です
ルナ

「好き です」の次に「でも」が来る確率は、低くあってほしいの♡

シオン

…それは、データしだい。

#4なぜニューラル機械翻訳に変わったの?

ミコ

そんなに工夫してたのに、なんで変わったの?

シオン

…統計的な方法は、文を部品に分けて、ほぼ別々に訳す。長い文や遠くの語のつながりが苦手。

シオン

…ニューラル機械翻訳は、文全体を1つのネットワークで読んで訳す。代表がSeq2Seq。

統計的機械翻訳とニューラル機械翻訳
統計的機械翻訳ニューラル機械翻訳
しくみ部品ごとの確率を組み合わせる文全体を1つのネットで変換
使うもの翻訳モデル+言語モデルSeq2Seq・Attentionなど
苦手長い文・語順の大きな違い大量のデータと計算が要る
ミコ

Seq2Seqって、何から何に変えるの?

シオン

…単語の列から、単語の列へ。入力を読むエンコーダと、訳を書くデコーダの2つでできている。

ミコ

でも、データから確率を学ぶって考え方は、今のAIにもつながってるんだね!

ルナ

昔の恋があるから、今の恋がある…統計的機械翻訳は、AIの初恋なのね♡

シオン

…初恋は、議事録だった。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

大量の対訳コーパスから、単語やフレーズがどう訳されやすいかを確率として学習し、確率が最も高い訳文を選ぶ機械翻訳の方式はどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

式は考え方を日本語で書いたもの。元の論文では、訳文 e の候補のうち Pr(e)×Pr(f|e)(言語モデル×翻訳モデル)が最大のものを選ぶ形で書かれている。年代の区切りはおおよその目安。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第6章のレッスン

  1. 画像認識のタスク
  2. 代表的な画像認識モデル
  3. 統計的機械翻訳
  4. 自然言語処理と単語埋め込み
  5. Transformerと大規模言語モデル
  6. 音声処理
  7. 深層強化学習
  8. データ生成(GAN・拡散モデル)
  9. 転移学習・ファインチューニング
  10. マルチモーダル
  11. モデルの解釈性(説明可能AI)
  12. モデルの軽量化