♪この章の曲谷底はどこ?登山部
サビで覚えて、下の会話で回収
#1ニューラルネットワークってなに?

第4章スタート! 今日は「ニューラルネットワーク」! 名前からして強そう!

…脳の神経細胞(ニューロン)のつながりを、ヒントにした計算のしくみ。

脳のマネ…♡ じゃあAIも、ルナのこと考えて眠れなくなるの?

…ならない。ヒントにしただけで、脳と同じではない。中身は掛け算と足し算。

え、脳そのものじゃないんだ! ただの計算なんだ!
#2いちばん小さい部品は「パーセプトロン」

…基本の部品は、1958年にローゼンブラットが発表した「パーセプトロン」。

…入力にそれぞれ「重み」を掛けて足す。合計がしきい値を超えたら1、超えなければ0を出す。
入力に重みを掛けて足し合わせ、その合計で0か1かを出力するモデル。入力層と出力層だけで、隠れ層がない
Simple Perceptron ── ローゼンブラットが1958年の論文で発表

重みって、どの入力をどれくらい大事にするか、ってこと?

…そう。学習とは、この重みをちょうどよく調整すること。

ルナの中では、推しの言葉の重みが100で、ほかは0なの♡

かたよりすぎ! それ学習失敗してる!
#31本の線で分けられない問題がある

…ただし単純パーセプトロンは、1本の直線で分けられる問題しか解けない。

…有名な例がXOR。「どちらか片方だけが1なら1」。1969年、ミンスキーとパパートが本で指摘した。

え、そんな簡単そうなのに解けないの!?

…正解。そこで、入力と出力のあいだに層をはさむ。これが多層パーセプトロン。
- 1入力層:データを受けとる(例:画像のピクセルの値)
- 2隠れ層(中間層):重みを掛けて足し、活性化関数で変換する。外からは見えない
- 3出力層:答えを出す(例:「この数字は3」の確率)

隠れ層…♡ 外から見えないところで想いを育ててるのね

…育ててるのは、特徴。
#4隠れ層を深くするとディープラーニング

で、ディープラーニングとはなにがちがうの?

…隠れ層をたくさん重ねて、深くしたニューラルネットワーク。それを学習させるのがディープラーニング。

ディープって「深い層」のことだったんだ! 深い話って意味かと思ってた!
| 単純パーセプトロン | 多層パーセプトロン | |
|---|---|---|
| 隠れ層 | なし | 1つ以上 |
| 分けられる問題 | 直線で分けられるものだけ | 曲がった境界もOK |
| XOR | 解けない | 解ける |

…ただ深くするほど、必要なデータも計算も増える。だから学習には大量のデータと計算資源が要る。
#5なぜGPUやTPUを使うの?

計算が多いなら、パソコンのCPUをがんばらせればいいじゃん!

…CPUは何でもこなす万能型。でも、同時に計算できる数は少なめ。

…GPUは、小さな計算器を何千個も並べて、同時に計算するのが得意。
| 得意なこと | ひとこと | |
|---|---|---|
| CPU | いろいろな処理を順に | 万能型 |
| GPU | 同じ計算を大量に並列 | 計算器が数千個 |
| TPU | 行列の掛け算と足し算 | Googleの機械学習専用 |

ニューラルネットワークの中身は、掛け算と足し算の山だから、並べて一気にやるのが速いんだ!

ルナもLINEを何千人と同時に返せたら、GPUになれるのね♡

…その前に、相手が何千人もいない。
ミコのメモ(自分あて)
- 単純パーセプトロンは隠れ層なし。直線で分けられる問題だけ既読
- XORは単純パーセプトロンでは解けない。多層なら解ける既読
- 入力層→隠れ層→出力層。隠れ層を深くしたのがディープラーニング既読
- GPUは並列計算、TPUはGoogleの行列計算専用チップ既読
試験デンデン! 1問だけ
隠れ層をもたない単純パーセプトロンについて、正しい説明はどれ?
単純パーセプトロンは入力層と出力層だけで、直線で分けられる(線形分離可能な)問題しか解けない。XORは1本の線で分けられないので解けず、隠れ層をもつ多層パーセプトロンなら解ける。3層構造は多層パーセプトロンの説明、行列計算用チップはTPUの説明。単純パーセプトロンはローゼンブラットの学習規則で重みを調整でき、誤差逆伝播法は多層のネットワークを学習させるための方法。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Stanford CS231n「Neural Networks Part 1: Setting up the Architecture」
- Goodfellow, Bengio, Courville「Deep Learning」第6章 Deep Feedforward Networks(MIT Press, 2016)
- Rumelhart, Hinton, Williams「Learning representations by back-propagating errors」(Nature, 1986年)
- Google Cloud「Introduction to Cloud TPU」
- Google Cloud Blog「What makes TPUs fine-tuned for deep learning?」(2018年)
- Wikipedia「Perceptron」
ここでの「CPU・GPU・TPU」の比較は、特徴をつかむための大まかな整理です。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。