#1なぜ、モデルを軽くするの?

スマホのカメラでも、AIで顔を見つけたりしてるよね! 小さいのにすごい!

…手元の機器の中でAIを動かす。「エッジAI」。

…でも手元の機器は、メモリも計算の力も少ない。大きなモデルは入らない。

ルナの重い愛も、カレのスマホには入りきらないの…♡

それは軽量化して!
| クラウド | エッジAI | |
|---|---|---|
| 計算する場所 | 遠くのサーバー | スマホ・カメラ・車など |
| 通信 | 必要 | なくても動ける |
| 反応の速さ | 通信の分だけ待つ | その場ですぐ |
| データ | 外に送る | 手元にとどめやすい |

…だから、性能をなるべく落とさずに小さくする。「モデル圧縮」。代表は3つ。
#2プルーニングは、いらない結合をけずる

…1つ目「プルーニング」。剪定。大事でない重みや結合を、けずる。
- 1ふつうに学習して、どの結合が大事かを知る
- 2大事でない(重みが小さいなど)結合をけずる
- 3残った結合で、もう一度学習して調整する

…2015年の研究では、画像認識のAlexNetのパラメータを、精度を落とさず約9分の1にした。

9分の1! そんなにムダがあったの!?

…そこで「宝くじ仮説」。大きなネットワークの中に、最初から当たりの小さなネットワークがある、という説。

たくさんの人の中に、運命の人が1人まじってる…♡ 宝くじ仮説

…ただし、見つけるには、まず全部と付き合う…いや、全部を学習する必要がある。
#3量子化は、数字を粗くする

…2つ目「量子化」。重みなどの数字を、細かい表し方から粗い表し方に変える。

…例えば、32ビットの小数を、8ビットの整数にする。

細かさを減らすぶん、サイズも計算も軽くなるんだ!

写真の画質を下げると、ファイルが軽くなるのと似てるの?

…近い。ただし落としすぎると、見分けがつかなくなる。

…GoogleのLiteRTの案内では、方式によってサイズを最大75%減。精度は少し落ちることがある。

ルナも、好きの気持ちを「好き・大好き」の2段階にしたら軽くなる?♡

それ1ビットじゃん!
#4蒸留は、先生モデルの答え方をまねる

…3つ目「蒸留」。大きな先生モデルの知識を、小さな生徒モデルにうつす。

生徒は、正解だけ教わるんじゃないの?

…先生の出す確率をまるごとまねる。「ソフトターゲット」。2015年、ヒントンたち。

…「犬90%、オオカミ9%」なら、犬とオオカミは似ている、まで伝わる。
| 何をする? | ひとこと | |
|---|---|---|
| プルーニング | 大事でない結合をけずる | 数を減らす |
| 量子化 | 数字を粗い形で持つ | 1つを軽く |
| 蒸留 | 大きいモデルをまねる | 小さく作り直す |

先生の「迷い」まで教わるのね…♡ 恋の悩みも蒸留したい

…それは、煮つめるだけ。
ミコのメモ(自分あて)
- エッジAI=手元の機器の中でAIを動かす既読
- プルーニング=大事でない結合をけずる既読
- 量子化=32ビット→8ビットなど数字を粗くする既読
- 蒸留=先生の確率(ソフトターゲット)を生徒がまねる既読
- 宝くじ仮説=大きなネットの中に当たりの小さなネットがある既読
試験デンデン! 1問だけ
大きく高性能なモデルの出力する確率分布を「ソフトターゲット」として使い、小さなモデルを学習させて軽量化する方法はどれ?
蒸留(知識蒸留)は、先生モデルの出す確率をまねるように生徒モデルを学習させる方法。量子化は重みなどを粗いビット数で表す方法、プルーニングは大事でない結合をけずる方法。ファインチューニングは事前学習済みモデルを新しいタスク向けに学び直すことで、軽量化の手法ではない。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Hinton ほか「Distilling the Knowledge in a Neural Network」(arXiv・2015年)
- Han ほか「Learning both Weights and Connections for Efficient Neural Networks」(arXiv・2015年)
- Han ほか「Deep Compression」(arXiv・2015年)
- Frankle・Carbin「The Lottery Ticket Hypothesis」(arXiv・2018年)
- Jacob ほか「Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference」(arXiv・2017年)
- Google AI Edge「Model optimization」(LiteRT)
「犬90%、オオカミ9%」は説明のためのイメージです。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。