#12012年、AlexNetが圧勝した

今日は画像認識モデルの歴史! 名前がいっぱいで覚えられる気がしない!

…舞台はILSVRC。ImageNetという大量の画像で、1000種類の分類を競う大会。

…2012年、トロント大学のチームのCNNが優勝。のちに「AlexNet」と呼ばれる。

なんでAlexなの?

…論文の第一著者が、アレックス・クリジェフスキー。共著者にヒントンもいる。

…上位5つに正解が入らない誤り率が約15%。2位は約26%。圧勝。

2位に10ポイント以上差をつけるなんて…元カレたちが霞むレベルなの♡

比べる相手そこ!?
#22014年、もっと深く

そのあとは?

…2014年はVGGとGoogLeNet。どちらも「層を深くする」方向。
| VGG | GoogLeNet | |
|---|---|---|
| 作った所 | オックスフォード大学 | |
| 工夫 | 小さい3×3の畳み込みを積む | Inceptionモジュール |
| 深さ | 16〜19層 | 22層 |
| ILSVRC2014 | 分類2位(位置特定1位) | 分類1位 |

VGGは2位なのに有名なの?

…形がシンプルで使いやすい。だから今も土台として使われる。

1位じゃなくても選ばれる…シンプルな人がいちばんモテる理論ね♡
#32015年、ResNetが152層へ

じゃあ、もっともっと深くすれば最強じゃん!

…それが、深くしすぎると学習がうまくいかなくなる。

…そこでResNet。層を飛び越える近道「スキップ結合」をつけた。
入力をそのまま先の層へ足すスキップ結合で、層が学ぶのは「入力との差(残差)」だけにした。152層でも学習でき、ILSVRC2015の分類で1位
Residual Network ── 2015年、マイクロソフト研究所の He らが発表

近道があるから、深くても迷子にならない!

…そう。改良版に、幅を広げたWide ResNet、全部の層をつなぐDenseNetがある。
#4軽く、自動で、そしてTransformerへ

そのあとは、もっと深くなったの?

…方向が分かれた。スマホで動く軽さ。人の代わりにAIが設計する自動化。
- 2012年AlexNet。ILSVRCで圧勝し、深層学習ブームのきっかけに
- 2014年VGG・GoogLeNet。層をさらに深く
- 2015年ResNet。スキップ結合で152層
- 2017年SENet(チャネルごとに重みづけ。ILSVRC2017で1位)・MobileNet(スマホ向けの軽量化)
- 2016〜19年NAS(AIが構造を探す)→ MnasNet → EfficientNet(深さ・幅・解像度をバランスよく拡大)
- 2020年Vision Transformer。CNNを使わず、Transformerで画像を分類

Vision Transformerは、どうやって画像を見てるの?

…画像を小さなパッチ(例えば16×16画素)に切って、単語みたいに並べる。

画像を「単語の列」として読むんだ! 言葉のAIのしくみを画像に持ってきた!

…ただし、力を出すには大量のデータでの事前学習が必要。

たくさん経験しないと本気出せないタイプ…分かるの♡
ミコのメモ(自分あて)
- 2012 AlexNet:ILSVRCで圧勝。CNNの時代が始まる既読
- 2014 VGG(3×3を積む)とGoogLeNet(Inception)既読
- 2015 ResNet:スキップ結合で152層。ILSVRC1位既読
- EfficientNet=深さ・幅・解像度をバランスよく拡大既読
- ViT=画像をパッチに分けTransformerで処理既読
試験デンデン! 1問だけ
層を飛び越えて入力を先の層に足す「スキップ結合」を導入し、152層という非常に深いネットワークの学習を可能にしたモデルはどれ?
スキップ結合(残差接続)で深いネットワークを学習しやすくしたのはResNet(2015年、ILSVRC2015分類1位)。VGGは3×3の小さな畳み込みを積み重ねたモデル、GoogLeNetはInceptionモジュールを使ったモデル、MobileNetは深さ方向に分けた畳み込み(depthwise separable convolution)でスマホ向けに軽量化したモデル。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Krizhevsky, Sutskever, Hinton「ImageNet Classification with Deep Convolutional Neural Networks」NIPS 2012
- ImageNet「ILSVRC2012 Results」
- Simonyan, Zisserman「Very Deep Convolutional Networks for Large-Scale Image Recognition」(VGG, 2014年)
- Szegedy ほか「Going Deeper with Convolutions」(GoogLeNet, 2014年)
- He ほか「Deep Residual Learning for Image Recognition」(ResNet, 2015年)
- Tan, Le「EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks」(2019年)
- Dosovitskiy ほか「An Image is Worth 16x16 Words」(Vision Transformer, 2020年)
誤り率は ILSVRC2012 の公式結果(上位5つの候補に正解が入らなかった割合)で、AlexNet(チーム名 SuperVision)15.3%、2位 26.2%。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。