G検定 第6章|ディープラーニングの応用例

マルチモーダル

画像も言葉もいっしょに分かるAIって、どうなってるの?

会話で読んで3分

マルチモーダルCLIPDALL-EZero-shot基盤モデルVisual Question Answering

#1マルチモーダルって、なにがマルチ?

ミコ

今日は「マルチモーダル」! マルチはたくさん、モーダルは…モデル?

シオン

…モーダルは、情報の種類。画像、文章、音声。それを2つ以上まとめて扱う。

ルナ

ルナも、顔と声と文字、ぜんぶで好きって伝えるの♡ マルチモーダル恋愛

ミコ

全方向から重い!

マルチモーダルの主なタスク
  • Image Captioning(画像→説明文)
  • Text-To-Image(文章→画像)
  • Visual Question Answering(画像について質問に答える)
  • 画像と文章の検索
シオン

…VQAは、画像を見せて「何匹いる?」と聞くと、言葉で答えるタスク。

#2CLIPは、画像と文章を同じ地図に並べる

シオン

…代表が「CLIP」。2021年、OpenAIが発表。

シオン

…ネットから集めた約4億組の「画像と説明文」で学んだ。

ミコ

4億!? どうやって学ぶの?

CLIPの学び方
  1. 1画像は画像用、文章は文章用のエンコーダでベクトルにする
  2. 2正しいペアの画像と文章は、近くに置く
  3. 3ペアでない組み合わせは、遠くに離す(対照学習)
  4. 4似た意味の画像と文章が、同じ空間で近くに並ぶ
ミコ

犬の写真と「犬」って文字が、となり同士になるんだ!

ルナ

ルナとカレも、同じ空間で近くに並びたいの…♡

シオン

…ペアでないものは、離される。対照学習は、正直。

#3習っていないのに当てられる「Zero-shot」

シオン

…CLIPの強みは「Zero-shot」。そのタスク用の学習をしなくても、分類できる。

ミコ

え、待って。習ってないのに、なんで分かるの?

シオン

…「〜の写真」という文章を候補の数だけ作る。画像にいちばん近い文章を選ぶ。

ミコ

選択肢を文章で書けば、それがそのまま分類のラベルになるんだ!

ルナ

ルナも、初めて会う人でも「運命の人」かどうか、すぐ分かるの♡ Zero-shot

シオン

…それは、Zero-shot。正解率も、ゼロ。

#4文章から絵を描くDALL-Eと、そのほかのモデル

シオン

…「DALL-E」は、文章から画像を作るText-To-Imageのモデル。2021年に発表。

シオン

…文章と画像をトークンの1つの列としてTransformerで扱った。

代表的なマルチモーダルモデル
入力→出力ポイント
CLIP画像⇄文章の対応対照学習・Zero-shot
DALL-E文章→画像Text-To-Image
Flamingo画像・動画+文章→文章少しの例で新タスク
Unified-IOいろいろ→いろいろ1つのモデルで多くのタスク
ミコ

Unified-IOは、1つでたくさんの仕事をするんだ!

シオン

…複数のタスクを1つのモデルで同時に学ぶ。「マルチタスク学習」。

#5いろんな用途の土台になる「基盤モデル」

シオン

…大量のデータで学び、いろいろなタスクに合わせて使える大きなモデル。「基盤モデル」。

シオン

…2021年、スタンフォード大学の研究者たちの報告で広まった言葉。

ミコ

土台を1つ作れば、いろんなアプリが作れるってこと!

ルナ

でも土台にかたよりがあると、上に建てたものにも全部うつっちゃうのね…

シオン

…正解。その報告も、まさにその危うさを指摘している。

ミコのメモ(自分あて)

試験デンデン! 1問だけ

画像を見せて「この写真に猫は何匹いる?」のような質問をすると、言葉で答えを返すマルチモーダルのタスクを何という?

※ 出題範囲を参考にしたオリジナル問題です

この記事の出典

G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。

第6章のレッスン

  1. 画像認識のタスク
  2. 代表的な画像認識モデル
  3. 統計的機械翻訳
  4. 自然言語処理と単語埋め込み
  5. Transformerと大規模言語モデル
  6. 音声処理
  7. 深層強化学習
  8. データ生成(GAN・拡散モデル)
  9. 転移学習・ファインチューニング
  10. マルチモーダル
  11. モデルの解釈性(説明可能AI)
  12. モデルの軽量化