#1AIが不公平になるのはなぜ?

AIって感情がないから、人間より公平じゃないの?

…そうとは限らない。AIは、過去のデータのくせをそのまま学ぶ。

…過去の判断に偏見があれば、AIもそれをくり返す。広げることさえある。

過去の恋をずっと引きずるのと同じなのね…♡

…AIは、引きずるのが仕事。だから、データを選ぶ人の責任。
AIの出力が、性別・人種などの属性によって特定の人や集団に不当にかたよること。原因は学習データ・モデルの作り方・使い方など、いろいろな段階にある
Algorithmic bias
#2原因は3つの「偏り」

…1つめは「データの偏り」。社会にある不公平が、そのまま記録に残っている。

…2つめは「サンプリングバイアス」。集め方がかたよって、一部の人のデータが少ない。

3つめは?

…「代理変数」。性別や人種を入れていなくても、それと強く関係する別の項目から結果がかたよる。

たとえば?

…住んでいる地域が、特定の人種の多さと強く結びついていると、住所が人種の代わりになってしまう。
| 何が起きる? | 例 | |
|---|---|---|
| データの偏り | 過去の偏見を学ぶ | 男性中心だった採用記録 |
| サンプリングバイアス | 一部の人のデータが少ない | 肌の明るい人が多い顔写真 |
| 代理変数 | 別の項目が属性の代わりに | 住所・出身校・趣味 |

直接聞かなくても、まわりの情報でバレちゃう…探偵みたい♡
#3実際に起きたこと

…有名な例が3つ。まずAmazonの採用AI。2018年にロイターが報じた。

…過去10年の、男性が多い履歴書で学習。「women's」を含む履歴書の評価を下げた。開発チームは解散した。

女子のチェス部のキャプテン、とかで下がっちゃうの!? ひどい!

…次は米国の再犯予測ツール「COMPAS」。2016年、報道機関ProPublicaが分析した。

…再犯しなかった人が「高リスク」と誤判定された割合は、黒人で約45%、白人で約23%。

人生がかかってるのに、そんなにちがうなんて…

…最後は顔画像の性別判定。2018年のGender Shades研究。肌の暗い女性で誤り率は最大34.7%、肌の明るい男性は最大0.8%。

学習データに肌の明るい人が多かったから…サンプリングバイアスだ!
#4「公平」の定義は1つじゃない

じゃあ、男女で合格率をぴったり同じにすれば公平!

…それも1つの定義。ほかに「まちがえる割合をそろえる」「同じスコアなら同じ確率で当たる」などがある。

…しかも、特別な場合を除いて、いくつかの定義は同時には満たせないことが数学的に示されている。

全員を同時に幸せにはできない…恋愛と同じ♡

そこは珍しく合ってる!

…だから、何を公平とするかを、目的に合わせて人が決めて、説明する。
#5どう対策する?

性別や人種の列を消せば、解決じゃない?

…それだけでは足りない。代理変数があるから。性別・人種などの「センシティブ属性」は、むしろ偏りを測るのに使う。
- 1どこにバイアスが入りうるか、データ・モデル・使い方を洗い出す
- 2データの偏りを見直し、足りない集団のデータを集める
- 3公平性の指標を決めて、集団ごとの結果を数値で確かめる
- 4大事な判断はAIだけに任せず、人の判断をはさむ
- 5運用後も監視し、多様なメンバーで見直す

作ったあとも、ずっと見守るのね♡

…そう。社会もデータも変わるから。
ミコのメモ(自分あて)
- AIは過去データの偏見をそのまま学ぶ既読
- サンプリングバイアス=集め方の偏り既読
- 代理変数=住所などが属性の代わりになる既読
- 公平性の定義は複数。同時に満たせないこともある既読
- 属性の列を消すだけでは公平にならない既読
試験デンデン! 1問だけ
融資審査AIの入力から「人種」の項目を消したのに、特定の人種の人が不利になる結果が残った。最も考えられる原因はどれ?
住所(郵便番号)など、人種と強く関係する別の項目が人種の代わりとして働くと、項目を消しても偏りが残る。これが代理変数の問題。過学習は学習データに合わせすぎて未知のデータで性能が落ちること、フィルターバブルは好みの情報ばかりに囲まれること、敵対的サンプルはAIをわざと誤らせる入力のこと。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- 総務省・経済産業省「AI事業者ガイドライン(第1.2版)」(2026年3月)
- CNBC(Reuters配信)「Amazon scraps a secret A.I. recruiting tool that showed bias against women」(2018年10月)
- ProPublica「How We Analyzed the COMPAS Recidivism Algorithm」(2016年5月)
- ProPublica「Machine Bias」(2016年5月)
- Buolamwini & Gebru「Gender Shades」(PMLR 81, 2018年)
- Kleinberg ほか「Inherent Trade-Offs in the Fair Determination of Risk Scores」(arXiv, 2016年)
- Mehrabi ほか「A Survey on Bias and Fairness in Machine Learning」(arXiv, 2019年)
COMPASの分析結果には開発元が反論しており、どの公平性の定義を使うかで評価が変わることも議論されています。住所が人種の代わりになる例は説明のためのイメージです。
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。