#1マルチモーダルって、なにがマルチ?

今日は「マルチモーダル」! マルチはたくさん、モーダルは…モデル?

…モーダルは、情報の種類。画像、文章、音声。それを2つ以上まとめて扱う。

ルナも、顔と声と文字、ぜんぶで好きって伝えるの♡ マルチモーダル恋愛

全方向から重い!
- Image Captioning(画像→説明文)
- Text-To-Image(文章→画像)
- Visual Question Answering(画像について質問に答える)
- 画像と文章の検索

…VQAは、画像を見せて「何匹いる?」と聞くと、言葉で答えるタスク。
#2CLIPは、画像と文章を同じ地図に並べる

…代表が「CLIP」。2021年、OpenAIが発表。

…ネットから集めた約4億組の「画像と説明文」で学んだ。

4億!? どうやって学ぶの?
- 1画像は画像用、文章は文章用のエンコーダでベクトルにする
- 2正しいペアの画像と文章は、近くに置く
- 3ペアでない組み合わせは、遠くに離す(対照学習)
- 4似た意味の画像と文章が、同じ空間で近くに並ぶ

犬の写真と「犬」って文字が、となり同士になるんだ!

ルナとカレも、同じ空間で近くに並びたいの…♡

…ペアでないものは、離される。対照学習は、正直。
#3習っていないのに当てられる「Zero-shot」

…CLIPの強みは「Zero-shot」。そのタスク用の学習をしなくても、分類できる。

え、待って。習ってないのに、なんで分かるの?

…「〜の写真」という文章を候補の数だけ作る。画像にいちばん近い文章を選ぶ。

選択肢を文章で書けば、それがそのまま分類のラベルになるんだ!

ルナも、初めて会う人でも「運命の人」かどうか、すぐ分かるの♡ Zero-shot

…それは、Zero-shot。正解率も、ゼロ。
#4文章から絵を描くDALL-Eと、そのほかのモデル

…「DALL-E」は、文章から画像を作るText-To-Imageのモデル。2021年に発表。

…文章と画像をトークンの1つの列としてTransformerで扱った。
| 入力→出力 | ポイント | |
|---|---|---|
| CLIP | 画像⇄文章の対応 | 対照学習・Zero-shot |
| DALL-E | 文章→画像 | Text-To-Image |
| Flamingo | 画像・動画+文章→文章 | 少しの例で新タスク |
| Unified-IO | いろいろ→いろいろ | 1つのモデルで多くのタスク |

Unified-IOは、1つでたくさんの仕事をするんだ!

…複数のタスクを1つのモデルで同時に学ぶ。「マルチタスク学習」。
#5いろんな用途の土台になる「基盤モデル」

…大量のデータで学び、いろいろなタスクに合わせて使える大きなモデル。「基盤モデル」。

…2021年、スタンフォード大学の研究者たちの報告で広まった言葉。

土台を1つ作れば、いろんなアプリが作れるってこと!

でも土台にかたよりがあると、上に建てたものにも全部うつっちゃうのね…

…正解。その報告も、まさにその危うさを指摘している。
ミコのメモ(自分あて)
- マルチモーダル=画像・文章・音声などを組み合わせて扱う既読
- CLIP=画像と文章を同じ空間に並べる(対照学習)既読
- Zero-shot=そのタスク用に学習せずに解く既読
- DALL-E=文章から画像(Text-To-Image)既読
- 基盤モデル=いろいろなタスクの土台になる大きなモデル既読
試験デンデン! 1問だけ
画像を見せて「この写真に猫は何匹いる?」のような質問をすると、言葉で答えを返すマルチモーダルのタスクを何という?
画像と質問文を入力にして答えを出すのがVisual Question Answering(VQA)。Image Captioningは画像の説明文を作るタスク、Text-To-Imageは文章から画像を作るタスク。Zero-shotはタスクの名前ではなく、そのタスク用の学習なしで解くこと。
※ 出題範囲を参考にしたオリジナル問題です
この記事の出典
- Radford ほか「Learning Transferable Visual Models From Natural Language Supervision」(CLIP・arXiv・2021年)
- Ramesh ほか「Zero-Shot Text-to-Image Generation」(DALL-E・arXiv・2021年)
- Alayrac ほか「Flamingo: a Visual Language Model for Few-Shot Learning」(arXiv・2022年)
- Lu ほか「Unified-IO: A Unified Model for Vision, Language, and Multi-Modal Tasks」(arXiv・2022年)
- Agrawal ほか「VQA: Visual Question Answering」(arXiv・2015年)
- Bommasani ほか「On the Opportunities and Risks of Foundation Models」(arXiv・2021年)
G検定(JDLA ジェネラリスト検定)のシラバス2024(第1.4版)をもとにした非公式の学習コンテンツです。JDLAとは関係ありません。 登場人物は架空のキャラクターです。