#1翻訳AIにも「昔のやり方」がある

今日は翻訳! 翻訳アプリって、昔からずっと今と同じしくみなの?

…ちがう。大きく3世代。人がルールを書く時代、統計の時代、ニューラルネットの時代。

3世代! ゲームのハードみたいに、どんどん新しくなったんだ!
- 〜1980年代ルールベース。人が文法や辞書のルールを書く
- 1990年ごろ〜統計的機械翻訳。IBMの研究グループが対訳データから確率を学ぶ方法を発表
- 2000年代単語ではなく「フレーズ」単位で訳すフレーズベース翻訳が主流に
- 2014年Seq2Seq(系列から系列へ変換するニューラルネット)で翻訳
- 2016年11月Google翻訳が日本語などでニューラル機械翻訳に切りかえ

ルールを人が全部書くの? ルナの恋愛ルールブック、もう300ページあるの♡

…それでも例外に負ける。言葉も同じ。だから統計に移った。
#2対訳データから「確率」を学ぶ

統計って、何を数えるの?

…同じ内容が2つの言語で書かれた文の組、「対訳コーパス」を大量に集める。

…そこから「この単語は、こう訳されることが多い」を確率として学ぶ。

ロゼッタストーンみたい! 同じ文が3種類の文字で書いてあって、解読できたやつ!

…いいたとえ。カナダ議会の英仏の議事録が、初期の大事なデータだった。

議事録で愛を学ぶの…? ロマンがなさすぎる♡

翻訳の話だから!
#3「訳の正しさ」と「文の自然さ」をかけ算

…統計的機械翻訳は、2つのモデルの点数をかけ算して、いちばん高い訳を選ぶ。
いちばんよい訳 = 点数が最大の訳(翻訳モデルの確率 × 言語モデルの確率)
翻訳モデル=元の英文と意味が合っているか。言語モデル=日本語として自然な並びか

意味が合ってても、日本語として変ならダメってことか!

…そう。言語モデルには「n-gram」を使った。連続するn個の単語の出やすさ。
- 1-gram:わたし/は/学生/です
- 2-gram:わたし は/は 学生/学生 です
- 3-gram:わたし は 学生/は 学生 です

「好き です」の次に「でも」が来る確率は、低くあってほしいの♡

…それは、データしだい。
#4なぜニューラル機械翻訳に変わったの?

そんなに工夫してたのに、なんで変わったの?

…統計的な方法は、文を部品に分けて、ほぼ別々に訳す。長い文や遠くの語のつながりが苦手。

…ニューラル機械翻訳は、文全体を1つのネットワークで読んで訳す。代表がSeq2Seq。
| 統計的機械翻訳 | ニューラル機械翻訳 | |
|---|---|---|
| しくみ | 部品ごとの確率を組み合わせる | 文全体を1つのネットで変換 |
| 使うもの | 翻訳モデル+言語モデル | Seq2Seq・Attentionなど |
| 苦手 | 長い文・語順の大きな違い | 大量のデータと計算が要る |

Seq2Seqって、何から何に変えるの?

…単語の列から、単語の列へ。入力を読むエンコーダと、訳を書くデコーダの2つでできている。

でも、データから確率を学ぶって考え方は、今のAIにもつながってるんだね!

昔の恋があるから、今の恋がある…統計的機械翻訳は、AIの初恋なのね♡

…初恋は、議事録だった。
ミコのメモ(自分あて)
- 統計的機械翻訳=対訳コーパスから訳し方の確率を学ぶ既読
- 翻訳モデル(意味が合う)×言語モデル(自然な文)で選ぶ既読
- n-gram=連続するn個の単語。言語モデルに使う既読
- 流れ:ルールベース→統計→ニューラル(Seq2Seq)既読
試験デンデン! 1問だけ
大量の対訳コーパスから、単語やフレーズがどう訳されやすいかを確率として学習し、確率が最も高い訳文を選ぶ機械翻訳の方式はどれ?
対訳データから確率を学び、翻訳モデルと言語モデルの確率が最大になる訳を選ぶのは統計的機械翻訳。ルールベースは人が文法・辞書のルールを書く方式、ニューラル機械翻訳はSeq2Seqなどのニューラルネットで文全体を変換する方式。形態素解析は翻訳方式ではなく、文を単語などの最小単位に分ける処理。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Brown ほか「The Mathematics of Statistical Machine Translation: Parameter Estimation」Computational Linguistics, 1993年
- Jurafsky & Martin「Speech and Language Processing」3rd ed. draft, Chapter 13 Machine Translation(2026年8月版)
- Jurafsky & Martin「Speech and Language Processing」3rd ed. draft, Chapter 3 N-gram Language Models
- Sutskever ほか「Sequence to Sequence Learning with Neural Networks」(2014年)
- Google Research Blog「Statistical machine translation live」(2006年)
- Google Research Blog「A Neural Network for Machine Translation, at Production Scale」(2016年)
- Google Japan Blog「Google 翻訳が進化しました。」(2016年11月16日)
式は考え方を日本語で書いたもの。元の論文では、訳文 e の候補のうち Pr(e)×Pr(f|e)(言語モデル×翻訳モデル)が最大のものを選ぶ形で書かれている。年代の区切りはおおよその目安。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。