#1音声処理でできること

今日は音声! スマートスピーカーに「今日の天気は?」って聞くやつ!

…声を文字にするのが「音声認識」。文字を声にするのが「音声合成」。

…ほかに、誰の声かを当てる「話者識別」。声から気持ちを読む「感情分析」もある。

話者識別…彼の電話の相手が誰か、分かっちゃうの♡

使い道が全部こわい!
#2声を数字にして、周波数を見る

そもそも声って空気の振動でしょ? コンピュータはどうやって受けとるの?

…まずA-D変換。なめらかな波(アナログ)を、デジタルの数字の列にする。
- 1標本化:波の高さを、1秒に何千回もはかる(電話の音質なら1秒に8000回)
- 2量子化:はかった高さを整数に丸める。こうして並べた値がPCM(パルス符号変調)の形式
- 3高速フーリエ変換(FFT):短い区間ごとに、どの高さの音(周波数)がどれだけ強いかを計算
- 4周波数ごとの強さから、音声認識に使う特徴量をとり出す

波を「高い音・低い音の成分」に分けて見るんだ!

…そう。母音の区別には、強く響く周波数の山「フォルマント」が手がかりになる。

…山をなめらかにつないだ形が「スペクトル包絡」。口や喉の形で決まる。

ルナの「すき♡」にも、フォルマントがあるの?

あるよ! 中身は母音の「う」と「い」のフォルマント!
#3人の耳に合わせた特徴量:MFCC

…人の耳は、低い音の違いには敏感。高い音の違いには鈍い。

…その感じ方に合わせた音の高さの目盛りが「メル尺度」。

人の耳に合わせて、目盛りをゆがめるんだ!
周波数ごとの強さをメル尺度でまとめ、さらに変換して、口や喉の形(スペクトル包絡)にあたる情報をとり出した特徴量。音声認識で長く使われてきた
Mel-Frequency Cepstral Coefficients ── 雑音を消すフィルターではなく、声の特徴を表す数字のセット

声の高さじゃなくて、口の形を見てるの…? キスの話?♡

…ちがう。「あ」と「い」を分けるのは、声の高さより口の形。だからそこを見る。
#4音素・HMM・CTC:声を文字にする

特徴量が取れたら、どうやって文字にするの?

…手がかりは「音素」。意味を区別する一番小さい音の単位。「かく」と「たく」なら /k/ と /t/。

…昔の音声認識は、音素の並びを「隠れマルコフモデル(HMM)」で表すのが主流だった。

でも、声は伸ばしたり縮めたりするよね?「ありがと〜〜」とか!

…そこでCTC。短い区間ごとに文字か「空白」を出して、あとで重なりと空白を消す。
- 1区間ごとの出力:ね ね _ こ こ こ
- 2続けて同じ文字をまとめる:ね _ こ
- 3空白(_)を消す:ねこ

音声の長さと文字の数がちがっても、合わせられる!
#5文字を声にする:WaveNet

…音声合成の代表はWaveNet。2016年にDeepMindが発表した。
| しくみ | 特徴 | |
|---|---|---|
| 連結方式 | 録音した短い音をつなぐ | 声や話し方を変えにくい |
| パラメトリック方式 | パラメータから音を作る | 不自然に聞こえがち |
| WaveNet | 波形を1サンプルずつ直接生成 | 従来より自然と評価された |

1秒に1万6000回以上も、1つずつ波を作るの!?

…そう。聞いた人の評価で、それまでの方式より自然だと判定された。

じゃあ、彼の声でおやすみを言ってもらえる…♡

…本人の許可なく声をまねるのは、別の問題になる。
ミコのメモ(自分あて)
- 音声認識=声→文字、音声合成=文字→声既読
- A-D変換=標本化+量子化。FFTで周波数ごとの強さを見る既読
- MFCC=メル尺度で人の耳に合わせた声の特徴量既読
- CTC=空白を使い、音声と文字の長さのズレを解決既読
- WaveNet(2016)=波形を1サンプルずつ直接生成既読
試験デンデン! 1問だけ
音声認識で、入力音声の長さと出力する文字列の長さが一致しない問題に対し、「空白」の記号を加えて対応づける手法はどれ?
CTC(Connectionist Temporal Classification)は、区間ごとに文字か空白を出し、続く同じ文字をまとめて空白を消すことで、長さのちがう音声と文字列を対応づける。WaveNetは波形を直接生成する音声合成モデル、MFCCは人の聴覚に合わせた音声の特徴量、FFTは信号を周波数ごとの強さに分ける計算方法。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Jurafsky & Martin「Speech and Language Processing」3rd ed. draft, Chapter 15 Phonetics and Speech Feature Extraction(2026年8月版)
- Jurafsky & Martin「Speech and Language Processing」3rd ed. draft, Chapter 16 Automatic Speech Recognition
- Graves ほか「Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks」ICML 2006
- van den Oord ほか「WaveNet: A Generative Model for Raw Audio」(2016年)
- Google DeepMind「WaveNet: A generative model for raw audio」(2016年)
- コトバンク「音韻論」(世界大百科事典)
CTCの図の「ね ね _ こ こ こ」は説明のためのイメージ(実際は数十ミリ秒ごとの区間に分けて出力する)。「8000回」は電話の音質での標本化の例。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。