G検定 第4章|ディープラーニングの概要

ニューラルネットワークとディープラーニング

パーセプトロンを重ねると、なぜディープラーニングになるの?

会話で読んで3分

単純パーセプトロン多層パーセプトロン入力層・隠れ層・出力層GPUTPU

♪この章の曲谷底はどこ?登山部

サビで覚えて、下の会話で回収

#1ニューラルネットワークってなに?

ミコ

第4章スタート! 今日は「ニューラルネットワーク」! 名前からして強そう!

シオン

…脳の神経細胞(ニューロン)のつながりを、ヒントにした計算のしくみ。

ルナ

脳のマネ…♡ じゃあAIも、ルナのこと考えて眠れなくなるの?

シオン

…ならない。ヒントにしただけで、脳と同じではない。中身は掛け算と足し算。

ミコ

え、脳そのものじゃないんだ! ただの計算なんだ!

#2いちばん小さい部品は「パーセプトロン」

シオン

…基本の部品は、1958年にローゼンブラットが発表した「パーセプトロン」。

シオン

…入力にそれぞれ「重み」を掛けて足す。合計がしきい値を超えたら1、超えなければ0を出す。

単純パーセプトロン

入力に重みを掛けて足し合わせ、その合計で0か1かを出力するモデル。入力層と出力層だけで、隠れ層がない

Simple Perceptron ── ローゼンブラットが1958年の論文で発表

ミコ

重みって、どの入力をどれくらい大事にするか、ってこと?

シオン

…そう。学習とは、この重みをちょうどよく調整すること。

ルナ

ルナの中では、推しの言葉の重みが100で、ほかは0なの♡

ミコ

かたよりすぎ! それ学習失敗してる!

#31本の線で分けられない問題がある

シオン

…ただし単純パーセプトロンは、1本の直線で分けられる問題しか解けない。

シオン

…有名な例がXOR。「どちらか片方だけが1なら1」。1969年、ミンスキーとパパートが本で指摘した。

ミコ

え、そんな簡単そうなのに解けないの!?

シオン

…正解。そこで、入力と出力のあいだに層をはさむ。これが多層パーセプトロン。

多層パーセプトロンの層
  1. 1入力層:データを受けとる(例:画像のピクセルの値)
  2. 2隠れ層(中間層):重みを掛けて足し、活性化関数で変換する。外からは見えない
  3. 3出力層:答えを出す(例:「この数字は3」の確率)
ルナ

隠れ層…♡ 外から見えないところで想いを育ててるのね

シオン

…育ててるのは、特徴。

#4隠れ層を深くするとディープラーニング

ミコ

で、ディープラーニングとはなにがちがうの?

シオン

…隠れ層をたくさん重ねて、深くしたニューラルネットワーク。それを学習させるのがディープラーニング。

ミコ

ディープって「深い層」のことだったんだ! 深い話って意味かと思ってた!

パーセプトロンのちがい
単純パーセプトロン多層パーセプトロン
隠れ層なし1つ以上
分けられる問題直線で分けられるものだけ曲がった境界もOK
XOR解けない解ける
シオン

…ただ深くするほど、必要なデータも計算も増える。だから学習には大量のデータと計算資源が要る。

#5なぜGPUやTPUを使うの?

ミコ

計算が多いなら、パソコンのCPUをがんばらせればいいじゃん!

シオン

…CPUは何でもこなす万能型。でも、同時に計算できる数は少なめ。

シオン

…GPUは、小さな計算器を何千個も並べて、同時に計算するのが得意。

CPU・GPU・TPUのちがい
得意なことひとこと
CPUいろいろな処理を順に万能型
GPU同じ計算を大量に並列計算器が数千個
TPU行列の掛け算と足し算Googleの機械学習専用
ミコ

ニューラルネットワークの中身は、掛け算と足し算の山だから、並べて一気にやるのが速いんだ!

ルナ

ルナもLINEを何千人と同時に返せたら、GPUになれるのね♡

シオン

…その前に、相手が何千人もいない。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

隠れ層をもたない単純パーセプトロンについて、正しい説明はどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

ここでの「CPU・GPU・TPU」の比較は、特徴をつかむための大まかな整理です。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第4章のレッスン

  1. ニューラルネットワークとディープラーニング
  2. 活性化関数
  3. 誤差関数(損失関数)
  4. 勾配降下法
  5. 最適化手法(モーメンタム・AdaGrad・RMSprop・Adam)
  6. 誤差逆伝播法
  7. 正則化(L1・L2・ドロップアウト)
  8. ハイパーパラメータの調整