G検定 第6章|ディープラーニングの応用例

音声処理

AIは、声をどうやって聞いて、どうやって話すの?

会話で読んで3分

音声認識音声合成メル周波数ケプストラム係数(MFCC)CTCWaveNet話者識別

#1音声処理でできること

ミコ

今日は音声! スマートスピーカーに「今日の天気は?」って聞くやつ!

シオン

…声を文字にするのが「音声認識」。文字を声にするのが「音声合成」。

シオン

…ほかに、誰の声かを当てる「話者識別」。声から気持ちを読む「感情分析」もある。

ルナ

話者識別…彼の電話の相手が誰か、分かっちゃうの♡

ミコ

使い道が全部こわい!

#2声を数字にして、周波数を見る

ミコ

そもそも声って空気の振動でしょ? コンピュータはどうやって受けとるの?

シオン

…まずA-D変換。なめらかな波(アナログ)を、デジタルの数字の列にする。

声がAIに届くまで
  1. 1標本化:波の高さを、1秒に何千回もはかる(電話の音質なら1秒に8000回)
  2. 2量子化:はかった高さを整数に丸める。こうして並べた値がPCM(パルス符号変調)の形式
  3. 3高速フーリエ変換(FFT):短い区間ごとに、どの高さの音(周波数)がどれだけ強いかを計算
  4. 4周波数ごとの強さから、音声認識に使う特徴量をとり出す
ミコ

波を「高い音・低い音の成分」に分けて見るんだ!

シオン

…そう。母音の区別には、強く響く周波数の山「フォルマント」が手がかりになる。

シオン

…山をなめらかにつないだ形が「スペクトル包絡」。口や喉の形で決まる。

ルナ

ルナの「すき♡」にも、フォルマントがあるの?

ミコ

あるよ! 中身は母音の「う」と「い」のフォルマント!

#3人の耳に合わせた特徴量:MFCC

シオン

…人の耳は、低い音の違いには敏感。高い音の違いには鈍い。

シオン

…その感じ方に合わせた音の高さの目盛りが「メル尺度」。

ミコ

人の耳に合わせて、目盛りをゆがめるんだ!

メル周波数ケプストラム係数(MFCC)

周波数ごとの強さをメル尺度でまとめ、さらに変換して、口や喉の形(スペクトル包絡)にあたる情報をとり出した特徴量。音声認識で長く使われてきた

Mel-Frequency Cepstral Coefficients ── 雑音を消すフィルターではなく、声の特徴を表す数字のセット

ルナ

声の高さじゃなくて、口の形を見てるの…? キスの話?♡

シオン

…ちがう。「あ」と「い」を分けるのは、声の高さより口の形。だからそこを見る。

#4音素・HMM・CTC:声を文字にする

ミコ

特徴量が取れたら、どうやって文字にするの?

シオン

…手がかりは「音素」。意味を区別する一番小さい音の単位。「かく」と「たく」なら /k/ と /t/。

シオン

…昔の音声認識は、音素の並びを「隠れマルコフモデル(HMM)」で表すのが主流だった。

ミコ

でも、声は伸ばしたり縮めたりするよね?「ありがと〜〜」とか!

シオン

…そこでCTC。短い区間ごとに文字か「空白」を出して、あとで重なりと空白を消す。

CTCのイメージ(「ねこ」と言った音声)
  1. 1区間ごとの出力:ね ね _ こ こ こ
  2. 2続けて同じ文字をまとめる:ね _ こ
  3. 3空白(_)を消す:ねこ
ミコ

音声の長さと文字の数がちがっても、合わせられる!

#5文字を声にする:WaveNet

シオン

…音声合成の代表はWaveNet。2016年にDeepMindが発表した。

音声合成のやり方
しくみ特徴
連結方式録音した短い音をつなぐ声や話し方を変えにくい
パラメトリック方式パラメータから音を作る不自然に聞こえがち
WaveNet波形を1サンプルずつ直接生成従来より自然と評価された
ミコ

1秒に1万6000回以上も、1つずつ波を作るの!?

シオン

…そう。聞いた人の評価で、それまでの方式より自然だと判定された。

ルナ

じゃあ、彼の声でおやすみを言ってもらえる…♡

シオン

…本人の許可なく声をまねるのは、別の問題になる。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

音声認識で、入力音声の長さと出力する文字列の長さが一致しない問題に対し、「空白」の記号を加えて対応づける手法はどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

CTCの図の「ね ね _ こ こ こ」は説明のためのイメージ(実際は数十ミリ秒ごとの区間に分けて出力する)。「8000回」は電話の音質での標本化の例。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第6章のレッスン

  1. 画像認識のタスク
  2. 代表的な画像認識モデル
  3. 統計的機械翻訳
  4. 自然言語処理と単語埋め込み
  5. Transformerと大規模言語モデル
  6. 音声処理
  7. 深層強化学習
  8. データ生成(GAN・拡散モデル)
  9. 転移学習・ファインチューニング
  10. マルチモーダル
  11. モデルの解釈性(説明可能AI)
  12. モデルの軽量化