G検定 第7章|AIの社会実装に向けて

データの収集・加工・分析・学習

AIに食べさせるデータ、どう集めてどう整えるの?

会話で読んで3分

アノテーションオープンデータセットコーパスデータリーケージ学習用データセット

#1AIの性能は、データで決まる

ミコ

今日はデータの話! モデル作りの方がおもしろそうなのに!

シオン

…AIの性能は、学習に使うデータに大きく左右される。経産省のガイドラインもそう書いている。

シオン

…ゴミを入れれば、ゴミが出る。「Garbage In, Garbage Out」とも言われる。

ルナ

ルナも、元カレの悪口ばっかり聞いてたら、恋愛観がゆがんじゃったの…♡

ミコ

学習データにかたよりがあった!

データを学習に使うまでの流れ
  1. 1集める:自社のデータ、公開データ、新たに作るデータ
  2. 2確かめる:量・質・かたよりを見る
  3. 3整える:まちがい・抜けを直す(クレンジング)
  4. 4正解をつける:アノテーション
  5. 5分ける:学習用と評価用を分けてから学習する

#2公開されているデータを使う

ミコ

データって、自分で全部集めないとだめ?

シオン

…だれでも使えるように公開されたデータがある。「オープンデータセット」。

シオン

…画像なら「ImageNet」。1400万枚をこえる画像に、何が写っているかの情報がついている。

シオン

…日本では、国と自治体はオープンデータに取り組むことが法律で義務づけられている。

ミコ

じゃあ、言葉のAIは?

シオン

…文章を大量に集めて整理したもの。「コーパス」。

コーパス

言葉の研究や自然言語処理のために、文章を大量に集めて整理したデータ

Corpus ── 例:国立国語研究所「現代日本語書き言葉均衡コーパス」は約1億語

ルナ

ルナとカレのトーク履歴も、コーパスにできるかな♡

シオン

…できる。ただし、本人たちの許可と、読む人の覚悟が要る。

シオン

…公開データでも、使っていい範囲は利用規約やライセンスで決まっている。必ず確かめる。

#3アノテーションは、データに正解をつける作業

シオン

…教師あり学習には、正解が要る。データに正解などの情報をつける作業が「アノテーション」。

ミコ

写真の車や人を四角で囲んで「車」「歩行者」ってつけるやつ!

シオン

…そう。手間がかかる。外の会社に頼むこともある。

シオン

…しかも、正解がまちがっていると、モデルも、まちがいを覚える。

ルナ

ルナの写真に「美少女」ってアノテーションしてほしいの♡

ミコ

それ、正解ラベルじゃなくて願望ラベル!

#4データリーケージは、答えのカンニング

シオン

…いちばんこわい落とし穴。「データリーケージ」。

シオン

…本番の予測のときには使えない情報が、モデルづくりに混ざってしまうこと。

ミコ

え、待って。混ざるとどうなるの?

シオン

…テストの点だけ高く出る。本番の新しいデータでは、がくっと下がる。

リーケージが起きやすい例
起きること防ぎ方
評価用データが学習に混ざる答えを見て試験するのと同じ最初に分けて、評価用は使わない
全データで平均を出して正規化評価用の情報がもれる学習用だけで計算する
結果を知ってから入る情報を使う本番では手に入らない予測の時点で使えるかを確かめる
ミコ

前処理でももれるんだ! 気づかなそう!

#5ほかの会社とデータを共有するとき

ミコ

ほかの会社とデータを出し合って作ることもあるよね?

シオン

…ある。経産省のガイドラインは、データの契約を3つの型に分けている。

データの契約の3つの型(経産省ガイドライン)
どんな場面?だれが関わる?
データ提供型持っている側が相手に渡す渡す側と受け取る側
データ創出型いっしょに新しいデータを生むデータづくりに関わった全員
データ共用型プラットフォームで共有する複数の事業者と運営者
シオン

…だれが、どこまで使えるか。加工してできたデータはだれのものか。先に決めておく。

ルナ

別れたあと、2人の写真をどっちが持つか、先に決めておくのね…♡

ミコ

それは決めなくていい! でも契約は決める!

ミコのメモ(自分あて)

試験デンデン! 1問だけ

データ全体の平均と標準偏差で正規化してから、学習用と評価用に分けた。評価の点数が実力より高く出るおそれがあるこの問題を何という?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

経済産業省のサイトは自動取得を受け付けなかったため、ガイドラインの出典はWeb Archiveの保存版です(2026年10月確認)。個人情報や著作権など、データを集めるときの法律のルールは第8章で扱います。

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第7章のレッスン

  1. AIプロジェクトの進め方
  2. データの収集・加工・分析・学習
  3. AIの運用とMLOps