#1AIは、出したあとに弱っていく

モデルができた! テストの点もいい! これで完成!

…まだ半分。世の中のデータは変わる。モデルは、学んだ時のまま。

…だからAIは、ふつうのソフトより多くの形で、性能が落ちていく。

え、待って。プログラムは変えてないのに、悪くなるの!?

…通販のおすすめ。冬のデータで学んだモデルは、夏にもコートをすすめる。

付き合った頃のままのルナを好きでいてくれるの…♡ それはそれで、さみしい
運用中に、入ってくるデータの分布や、入力と答えの関係が学習した時から変わってしまうこと
データの分布の変化はデータドリフト、入力と答えの関係の変化はコンセプトドリフトと呼ばれる
#2MLOpsは、作るチームと動かすチームをつなぐ

…そこで「MLOps」。機械学習(ML)と運用(Operations)を合わせた言葉。

…作る、出す、見張る、学び直す。これを、できるだけ自動で回すための考え方としくみ。

ソフト開発のDevOpsの、機械学習版ってこと!
| ふつうのソフト | 機械学習で増えるもの | |
|---|---|---|
| CI(継続的インテグレーション) | コードを試験してまとめる | データとモデルも検証する |
| CD(継続的デリバリー) | ソフトを自動で届ける | 予測サービスを自動で届ける |
| CT(継続的トレーニング) | なし | 新しいデータで自動で再学習 |

…CTは機械学習ならでは。Googleの解説では、手作業だけの段階を「レベル0」と呼ぶ。

ルナの気持ちも、毎日自動で学び直してるの♡ 継続的トレーニング

それはただの気分屋!
#3AIの健康診断「ヘルスモニタリング」

弱ってきたのは、どうやって気づくの?

…運用中のモデルを見張る。予測の当たり具合、入ってくるデータの分布、反応の速さ。
- 1学習してモデルを作り、バージョンを記録する
- 2サービスとして公開する(デプロイ)
- 3性能とデータの変化を見張る(モニタリング)
- 4落ちてきたら、新しいデータで再学習
- 5検証して問題なければ、新しい版に入れかえる

モデルにも、健康診断と通院があるんだ!

…それと、どの版のモデルを、どのデータで作ったか。記録しておかないと、戻せない。

前のカレに戻りたくなっても、記録がないと戻れないのね…♡

…あなたは、記録があっても戻らないで。
#4AIを世に出すための道具たち

MLOpsで使う道具も、試験に出るって聞いた!
| なにをする? | どの場面? | |
|---|---|---|
| Python | 機械学習で広く使われる言語 | モデルづくり全般 |
| Jupyter Notebook | コードと結果を並べて試す | 分析・試作 |
| Docker | 動く環境ごと箱に詰める | どこでも同じに動かす |
| Web API | ネット経由の呼び出し窓口 | アプリから予測を使う |
| クラウド | 計算機や保存場所を借りる | 学習・公開の土台 |

…Dockerのコンテナは、アプリと、動くのに必要なファイルをまとめて分けた入れ物。

わたしのパソコンでは動いたのに、が起きにくくなるんだ!

…2015年のGoogleの論文は、機械学習のコードはシステム全体のごく一部だと指摘した。

…まわりの運用を軽く見ると、あとで大きな保守の負担になる。「隠れた技術的負債」。

ツケはあとから来るのね…♡ ルナのカード払いと同じ

それは今すぐ運用見直して!
ミコのメモ(自分あて)
- AIはデータの変化(ドリフト)で性能が落ちる既読
- MLOps=作る・出す・見張る・学び直すを回す既読
- CT=新しいデータで自動で再学習(MLならでは)既読
- ヘルスモニタリング=運用中のモデルの性能を見張る既読
- Docker=アプリを動く環境ごとコンテナに詰める既読
試験デンデン! 1問だけ
運用中のAIモデルで、季節の変化などにより入力データの分布が学習時から変わって性能が落ちていないかを、継続的に確認する取り組みを何という?
運用中のモデルの予測精度や入力データの分布などを見張り、性能の低下に気づくのがヘルスモニタリング(モデルの監視)。PoCは本格開発の前に実現できるかを試す概念実証、アノテーションはデータに正解などの情報をつける作業、ファインチューニングは学習済みモデルを新しいタスク向けに学び直すこと。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Google Cloud「MLOps: Continuous delivery and automation pipelines in machine learning」
- Sculley ほか「Hidden Technical Debt in Machine Learning Systems」(NeurIPS・2015年)
- Docker Docs「What is a container?」
- Project Jupyter「Home」
- Studer ほか「Towards CRISP-ML(Q)」(arXiv・2020年)
「冬のデータで学んだモデルが夏にもコートをすすめる」は、ドリフトを説明するためのイメージです。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。