#1AIの性能は、データで決まる

今日はデータの話! モデル作りの方がおもしろそうなのに!

…AIの性能は、学習に使うデータに大きく左右される。経産省のガイドラインもそう書いている。

…ゴミを入れれば、ゴミが出る。「Garbage In, Garbage Out」とも言われる。

ルナも、元カレの悪口ばっかり聞いてたら、恋愛観がゆがんじゃったの…♡

学習データにかたよりがあった!
- 1集める:自社のデータ、公開データ、新たに作るデータ
- 2確かめる:量・質・かたよりを見る
- 3整える:まちがい・抜けを直す(クレンジング)
- 4正解をつける:アノテーション
- 5分ける:学習用と評価用を分けてから学習する
#2公開されているデータを使う

データって、自分で全部集めないとだめ?

…だれでも使えるように公開されたデータがある。「オープンデータセット」。

…画像なら「ImageNet」。1400万枚をこえる画像に、何が写っているかの情報がついている。

…日本では、国と自治体はオープンデータに取り組むことが法律で義務づけられている。

じゃあ、言葉のAIは?

…文章を大量に集めて整理したもの。「コーパス」。
言葉の研究や自然言語処理のために、文章を大量に集めて整理したデータ
Corpus ── 例:国立国語研究所「現代日本語書き言葉均衡コーパス」は約1億語

ルナとカレのトーク履歴も、コーパスにできるかな♡

…できる。ただし、本人たちの許可と、読む人の覚悟が要る。

…公開データでも、使っていい範囲は利用規約やライセンスで決まっている。必ず確かめる。
#3アノテーションは、データに正解をつける作業

…教師あり学習には、正解が要る。データに正解などの情報をつける作業が「アノテーション」。

写真の車や人を四角で囲んで「車」「歩行者」ってつけるやつ!

…そう。手間がかかる。外の会社に頼むこともある。

…しかも、正解がまちがっていると、モデルも、まちがいを覚える。

ルナの写真に「美少女」ってアノテーションしてほしいの♡

それ、正解ラベルじゃなくて願望ラベル!
#4データリーケージは、答えのカンニング

…いちばんこわい落とし穴。「データリーケージ」。

…本番の予測のときには使えない情報が、モデルづくりに混ざってしまうこと。

え、待って。混ざるとどうなるの?

…テストの点だけ高く出る。本番の新しいデータでは、がくっと下がる。
| 起きること | 防ぎ方 | |
|---|---|---|
| 評価用データが学習に混ざる | 答えを見て試験するのと同じ | 最初に分けて、評価用は使わない |
| 全データで平均を出して正規化 | 評価用の情報がもれる | 学習用だけで計算する |
| 結果を知ってから入る情報を使う | 本番では手に入らない | 予測の時点で使えるかを確かめる |

前処理でももれるんだ! 気づかなそう!
#5ほかの会社とデータを共有するとき

ほかの会社とデータを出し合って作ることもあるよね?

…ある。経産省のガイドラインは、データの契約を3つの型に分けている。
| どんな場面? | だれが関わる? | |
|---|---|---|
| データ提供型 | 持っている側が相手に渡す | 渡す側と受け取る側 |
| データ創出型 | いっしょに新しいデータを生む | データづくりに関わった全員 |
| データ共用型 | プラットフォームで共有する | 複数の事業者と運営者 |

…だれが、どこまで使えるか。加工してできたデータはだれのものか。先に決めておく。

別れたあと、2人の写真をどっちが持つか、先に決めておくのね…♡

それは決めなくていい! でも契約は決める!
ミコのメモ(自分あて)
- AIの性能は学習データの量と質に大きく左右される既読
- コーパス=文章を大量に集めて整理したデータ既読
- アノテーション=データに正解などの情報をつける既読
- データリーケージ=本番で使えない情報が学習に混ざる既読
- 共有の契約は提供型・創出型・共用型の3つ既読
試験デンデン! 1問だけ
データ全体の平均と標準偏差で正規化してから、学習用と評価用に分けた。評価の点数が実力より高く出るおそれがあるこの問題を何という?
評価用データの情報(平均など)が学習側にもれているので、データリーケージにあたる。正規化などの前処理は学習用データだけで計算する。アノテーションはデータに正解をつける作業、破滅的忘却は新しいタスクを学ぶと前のタスクを忘れる現象、過学習は訓練データに合わせすぎて未知のデータで性能が落ちること。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- 経済産業省「AI・データの利用に関する契約ガイドライン 1.1版(AI編)」(2019年12月・Web Archive保存版)
- 経済産業省「AI・データの利用に関する契約ガイドライン 1.1版(データ編)」(2019年12月・Web Archive保存版)
- scikit-learn「Common pitfalls and recommended practices」(Data leakage)
- ImageNet「ImageNet Large Scale Visual Recognition Challenge(ILSVRC)」
- 国立国語研究所「現代日本語書き言葉均衡コーパス(BCCWJ)」
- デジタル庁「オープンデータ」
経済産業省のサイトは自動取得を受け付けなかったため、ガイドラインの出典はWeb Archiveの保存版です(2026年10月確認)。個人情報や著作権など、データを集めるときの法律のルールは第8章で扱います。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。