G検定 第6章|ディープラーニングの応用例

モデルの軽量化

大きなAIを、スマホで動かすにはどうするの?

会話で読んで3分

モデル圧縮エッジAIプルーニング量子化蒸留宝くじ仮説

#1なぜ、モデルを軽くするの?

ミコ

スマホのカメラでも、AIで顔を見つけたりしてるよね! 小さいのにすごい!

シオン

…手元の機器の中でAIを動かす。「エッジAI」。

シオン

…でも手元の機器は、メモリも計算の力も少ない。大きなモデルは入らない。

ルナ

ルナの重い愛も、カレのスマホには入りきらないの…♡

ミコ

それは軽量化して!

クラウドで動かす? 手元で動かす?
クラウドエッジAI
計算する場所遠くのサーバースマホ・カメラ・車など
通信必要なくても動ける
反応の速さ通信の分だけ待つその場ですぐ
データ外に送る手元にとどめやすい
シオン

…だから、性能をなるべく落とさずに小さくする。「モデル圧縮」。代表は3つ。

#2プルーニングは、いらない結合をけずる

シオン

…1つ目「プルーニング」。剪定。大事でない重みや結合を、けずる。

プルーニングの基本の流れ
  1. 1ふつうに学習して、どの結合が大事かを知る
  2. 2大事でない(重みが小さいなど)結合をけずる
  3. 3残った結合で、もう一度学習して調整する
シオン

…2015年の研究では、画像認識のAlexNetのパラメータを、精度を落とさず約9分の1にした。

ミコ

9分の1! そんなにムダがあったの!?

シオン

…そこで「宝くじ仮説」。大きなネットワークの中に、最初から当たりの小さなネットワークがある、という説。

ルナ

たくさんの人の中に、運命の人が1人まじってる…♡ 宝くじ仮説

シオン

…ただし、見つけるには、まず全部と付き合う…いや、全部を学習する必要がある。

#3量子化は、数字を粗くする

シオン

…2つ目「量子化」。重みなどの数字を、細かい表し方から粗い表し方に変える。

シオン

…例えば、32ビットの小数を、8ビットの整数にする。

ミコ

細かさを減らすぶん、サイズも計算も軽くなるんだ!

ルナ

写真の画質を下げると、ファイルが軽くなるのと似てるの?

シオン

…近い。ただし落としすぎると、見分けがつかなくなる。

シオン

…GoogleのLiteRTの案内では、方式によってサイズを最大75%減。精度は少し落ちることがある。

ルナ

ルナも、好きの気持ちを「好き・大好き」の2段階にしたら軽くなる?♡

ミコ

それ1ビットじゃん!

#4蒸留は、先生モデルの答え方をまねる

シオン

…3つ目「蒸留」。大きな先生モデルの知識を、小さな生徒モデルにうつす。

ミコ

生徒は、正解だけ教わるんじゃないの?

シオン

…先生の出す確率をまるごとまねる。「ソフトターゲット」。2015年、ヒントンたち。

シオン

…「犬90%、オオカミ9%」なら、犬とオオカミは似ている、まで伝わる。

軽量化の3つの方法
何をする?ひとこと
プルーニング大事でない結合をけずる数を減らす
量子化数字を粗い形で持つ1つを軽く
蒸留大きいモデルをまねる小さく作り直す
ルナ

先生の「迷い」まで教わるのね…♡ 恋の悩みも蒸留したい

シオン

…それは、煮つめるだけ。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

大きく高性能なモデルの出力する確率分布を「ソフトターゲット」として使い、小さなモデルを学習させて軽量化する方法はどれ?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

「犬90%、オオカミ9%」は説明のためのイメージです。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第6章のレッスン

  1. 画像認識のタスク
  2. 代表的な画像認識モデル
  3. 統計的機械翻訳
  4. 自然言語処理と単語埋め込み
  5. Transformerと大規模言語モデル
  6. 音声処理
  7. 深層強化学習
  8. データ生成(GAN・拡散モデル)
  9. 転移学習・ファインチューニング
  10. マルチモーダル
  11. モデルの解釈性(説明可能AI)
  12. モデルの軽量化