G検定 第6章|ディープラーニングの応用例

代表的な画像認識モデル

AlexNetからVision Transformerまで、何が進化したの?

会話で読んで3分

AlexNetVGGGoogLeNetResNetEfficientNetVision Transformer

#12012年、AlexNetが圧勝した

ミコ

今日は画像認識モデルの歴史! 名前がいっぱいで覚えられる気がしない!

シオン

…舞台はILSVRC。ImageNetという大量の画像で、1000種類の分類を競う大会。

シオン

…2012年、トロント大学のチームのCNNが優勝。のちに「AlexNet」と呼ばれる。

ミコ

なんでAlexなの?

シオン

…論文の第一著者が、アレックス・クリジェフスキー。共著者にヒントンもいる。

シオン

…上位5つに正解が入らない誤り率が約15%。2位は約26%。圧勝。

ルナ

2位に10ポイント以上差をつけるなんて…元カレたちが霞むレベルなの♡

ミコ

比べる相手そこ!?

#22014年、もっと深く

ミコ

そのあとは?

シオン

…2014年はVGGとGoogLeNet。どちらも「層を深くする」方向。

2014年の2大モデル
VGGGoogLeNet
作った所オックスフォード大学Google
工夫小さい3×3の畳み込みを積むInceptionモジュール
深さ16〜19層22層
ILSVRC2014分類2位(位置特定1位)分類1位
ルナ

VGGは2位なのに有名なの?

シオン

…形がシンプルで使いやすい。だから今も土台として使われる。

ルナ

1位じゃなくても選ばれる…シンプルな人がいちばんモテる理論ね♡

#32015年、ResNetが152層へ

ミコ

じゃあ、もっともっと深くすれば最強じゃん!

シオン

…それが、深くしすぎると学習がうまくいかなくなる。

シオン

…そこでResNet。層を飛び越える近道「スキップ結合」をつけた。

ResNet(残差ネットワーク)

入力をそのまま先の層へ足すスキップ結合で、層が学ぶのは「入力との差(残差)」だけにした。152層でも学習でき、ILSVRC2015の分類で1位

Residual Network ── 2015年、マイクロソフト研究所の He らが発表

ミコ

近道があるから、深くても迷子にならない!

シオン

…そう。改良版に、幅を広げたWide ResNet、全部の層をつなぐDenseNetがある。

#4軽く、自動で、そしてTransformerへ

ミコ

そのあとは、もっと深くなったの?

シオン

…方向が分かれた。スマホで動く軽さ。人の代わりにAIが設計する自動化。

画像認識モデルの流れ
  • 2012年AlexNet。ILSVRCで圧勝し、深層学習ブームのきっかけに
  • 2014年VGG・GoogLeNet。層をさらに深く
  • 2015年ResNet。スキップ結合で152層
  • 2017年SENet(チャネルごとに重みづけ。ILSVRC2017で1位)・MobileNet(スマホ向けの軽量化)
  • 2016〜19年NAS(AIが構造を探す)→ MnasNet → EfficientNet(深さ・幅・解像度をバランスよく拡大)
  • 2020年Vision Transformer。CNNを使わず、Transformerで画像を分類
ルナ

Vision Transformerは、どうやって画像を見てるの?

シオン

…画像を小さなパッチ(例えば16×16画素)に切って、単語みたいに並べる。

ミコ

画像を「単語の列」として読むんだ! 言葉のAIのしくみを画像に持ってきた!

シオン

…ただし、力を出すには大量のデータでの事前学習が必要。

ルナ

たくさん経験しないと本気出せないタイプ…分かるの♡

ミコのメモ(自分あて)

試験デンデン! 1問だけ

層を飛び越えて入力を先の層に足す「スキップ結合」を導入し、152層という非常に深いネットワークの学習を可能にしたモデルはどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

誤り率は ILSVRC2012 の公式結果(上位5つの候補に正解が入らなかった割合)で、AlexNet(チーム名 SuperVision)15.3%、2位 26.2%。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第6章のレッスン

  1. 画像認識のタスク
  2. 代表的な画像認識モデル
  3. 統計的機械翻訳
  4. 自然言語処理と単語埋め込み
  5. Transformerと大規模言語モデル
  6. 音声処理
  7. 深層強化学習
  8. データ生成(GAN・拡散モデル)
  9. 転移学習・ファインチューニング
  10. マルチモーダル
  11. モデルの解釈性(説明可能AI)
  12. モデルの軽量化