マルチモーダルAIとは｜生成AIとの関係・企業での活用

記事やSNSで「マルチモーダルAI」という言葉を目にする機会が、ここ最近で増えました。
投稿の文章を見てみると、生成AIと何が違うのか、マルチモーダルAIとは何を指しているのか、という違和感が残ってしまうという方も多いのではないでしょうか。

本記事では、マルチモーダルAIの定義と歴史、しばしば混同される生成AIとの違い、なぜ最近になって注目されるようになったのか、そして実務のなかでどんなことができ、これから何が期待できるのかを整理します。

マルチモーダルAIとは

マルチモーダルAIとは、テキスト・画像・音声・動画のように、複数の種類のデータを同時に扱えるAIのことを指します。

人間でいえば、目で見る・耳で聞く・言葉で表す、といった感覚に近いイメージです。
人間が五感を組み合わせて世界を理解するように、AIも文字だけでなく画像・音声・動画といった複数の情報を組み合わせて扱えるようになった、というのがマルチモーダルAIです（出典: マルチモーダルAIとは？— リコー）。

対義語として使われるのが「シングルモーダルAI」で、こちらはテキストならテキストだけ、画像なら画像だけ、といったように1種類のデータしか扱えないAIを指します。
従来のAIの多くはシングルモーダルAIで、テキスト解析ならテキスト解析専用、画像認識なら画像認識専用と、目的ごとに別々のモデルを組み合わせて使うのが一般的でした。

マルチモーダルAIの歴史

マルチモーダルAIの研究は、1980年代にさかのぼります。
まだまだシングルモーダルAIが主流でしたが、徐々にマルチモーダルAIについても研究が行われ始めました。
当時は、音声と唇の画像を同時に読み取って、テキストに変換するという処理の研究が行われていました。

2000年代に入りディープラーニングが広まると、この研究領域は急速に発展し、2013年頃には、テキストと表情画像を組み合わせて感情を伴うアバターの表情を動かすような、より複雑なタスクを扱えるようになっていきました（出典: マルチモーダルAIとは？— ブライセン）。

しかし、この時点ではまだまだ高度で専門的な技術領域でした。

マルチモーダルAIの浸透

マルチモーダルAIが「専門家の技術」から「誰もが使える技術」へと変わった転換点は、2021~2023年に集中しています。

1つ目の転換点は、2021年前後、画像とテキストを同じ処理空間で対応づけられる基盤モデルが登場した段階です。
画像とテキストを横断する処理を、専用モデルをゼロから作らなくても実現できる道が開かれました（出典: CLIP: Connecting text and images — OpenAI）。
ただしこの段階では、主なユーザーはまだ研究者・開発者にとどまっていました。

2つ目は、2023年前半、ChatGPTと同じ系統の大規模言語モデルにマルチモーダル対応が本格的に組み込まれた段階です。
テキストだけでなく画像も入力できるモデルが主要ベンダーから発表され、その半年後には一般利用者向けのチャットインターフェースでも画像や音声を投げられるようになりました
（出典: GPT-4V(ision) System Card — OpenAI（2023年9月25日） OpenAI releases GPT-4, a multimodal AI — TechCrunch（2023年3月14日））。

ここで、ChatGPTを触っていた一般のビジネスパーソンが、「AIに写真を見せて質問できる」体験に、はじめて広く触れることになりました。

3つ目は、2023年末から2024年前半にかけて、主要な大手ベンダーが軒並みマルチモーダル対応を打ち出した段階です。
テキスト・音声・画像・動画などを横断的に扱う仕様が、複数のベンダーから相次いで発表され、マルチモーダル対応は業界の「特殊機能」から「標準機能」へと移りました。
（出典: Introducing Gemini — Google（2023年12月6日）、Introducing the next generation of Claude — Anthropic（2024年3月4日））、

専門家に限らない一般ユーザーが、複数のサービスからマルチモーダル体験にアクセスできる状態が整ったのがこの段階です。

つまり、「概念としては1980年代からあるが、一般ユーザーが誰でも使える存在になったのは2023年〜2024年」ということになります。

生成AIとの意味の違い（入力側／出力側）

ここで、マルチモーダルAIと生成AIの違いを記載しておきます。

簡潔に言うと、生成AIは「出力側」の進化を指し、マルチモーダルAIは「入力側」の広がりを指しています。

生成AIとは、文章・画像・音声・コードといった新しいコンテンツを、AIが「作り出す」能力の総称です。
ChatGPTが下書き文章を作ってくれる、画像生成AIが写真を作ってくれる、といった機能はいずれも「出力側」の話で、これまで人間しかできなかった生成という行為を、AIが担えるようになったところがポイントです。

一方のマルチモーダルAIは、AIが受け取れる情報の種類が広がったことを指します。
テキストしか読めなかったAIが、画像も音声も動画も読めるようになった。
これは「入力側」の変化です。

現実には、この2つは重なり合う場面が多くあります。
最近のAIモデルは、画像や音声を受け取れる（＝マルチモーダル）と同時に、文章や画像を生成できる（＝生成AI）ものが主流です。

「AIに何を作らせられるか」は生成AIの話、「AIに何を読ませられるか」はマルチモーダルAIの話、と覚えておいてください。

マルチモーダルAIが注目される理由

マルチモーダルAIへの注目が高まっている背景には、モデル側の技術進化だけでなく、業務側の需要変化があります。
この節では、モデル側と業務側の両面から、なぜ注目されているのかを整理します。

AIが業務のなかで使われる存在に変わった

まず注目されている背景として、AIそのものが業務のなかで実際に使われる存在に変わったことが挙げられます。
2022年11月末にChatGPTが公開されて以降、AIは研究や試作の域を出て、下書き作成・文章要約・資料の草案づくり・コード補助といった日常の業務のなかで、実際に使われる位置づけへと変わっていきました。
AIが「一部の企業のR&Dの対象」から「多くの企業が実業務のなかで使う対象」へと位置づけが変わったことで、AIに何をどこまで任せられるか、という問いが企業のなかで議論されるようになりました。

マルチモーダルAIは業務のなかの複数種類の情報を組み合わせて扱える

マルチモーダルAIは業務に含まれる複数種類の情報を組み合わせて扱えるという点で、業務適用の幅を大きく広げます。
現実の業務には、テキストだけでなく画像・音声・動画・PDFといった複数の種類の情報が含まれています。
営業の商談ひとつをとっても、議事録（テキスト）、録音（音声）、提案資料（PDF・画像）、顧客の表情や態度（動画）といった複数の情報が同時に生じます。

テキストしか読めないAIでは、こうした業務のなかの情報の一部にしか対応できませんでしたが、マルチモーダルAIはテキスト・画像・音声・動画といった複数の種類のデータを1つのモデルで扱えるため、業務のなかにあるさまざまな情報を組み合わせて渡し、その組み合わせを踏まえた出力を受け取れるようになりました。

業務でAIを使うほど、複数種類の情報を組み合わせた処理が求められる

AIが実務のなかで使われる場面が広がると、単一のモーダル（テキストだけ、画像だけ）で扱える業務は限られる、という実感を持つ場面が増えていきます。

たとえば、商談の議事録をAIに要約させて振り返るだけであれば、テキスト解析AIで足ります。
しかし商談振り返りには、「議事録に書かれた内容が、実際の発言のニュアンスと合っているか」「提案資料のどのページで顧客が反応したか」「録音のどのタイミングで沈黙があったか」といった、テキスト以外の情報も含まれたほうがより高度な振り返りができるようになります。

こうした情報を統合して振り返らないと、勝ちパターンや失注要因の分析は表面的なものにとどまってしまいます。
同じことは、顧客サポート、設計・製造、マーケティング、人事評価など、あらゆる業務にあてはまります。AIを業務で使う場面が増えるほど、単一種類の情報だけを扱う限界に直面していきます。

結果として、複数種類の情報を同時に処理したいという需要が、実業務側から広く生まれてきました。
マルチモーダルAIへの注目は、この需要の顕在化と重なる動きだと理解できます。
言い換えると、マルチモーダルAIが「注目される理由」は、モデル側の技術的進化だけではなく、実業務のなかで単一種類の情報だけでは不十分だという状況に直面しはじめていることが、マルチモーダルAIを必要とする側の重要な要素となっています。

マルチモーダルAIでできることと、これからできるようになること

マルチモーダルAIが業務でどのように活用できるかを、いまできること2つと、これから期待されることを1つご紹介します。

商談の録音と提案資料を同時に読ませて、文脈を含む議事録・要約を作る

いまできることのなかで代表的な使い方が、複数種類のデータをまとめて渡し、それらの関係を踏まえた出力を受け取ることです。

営業の商談を例に取ると、これまでは、録音を音声認識サービスで文字起こしし、そのテキストを別途要約AIに渡す、というやり方が一般的でした。
しかしこの方法だと、AIが参照できるのはあくまで「文字起こしされた発言内容」だけであり、商談中に提示していた提案資料の中身までは踏まえられません。
結果として、要約は発言だけを追った表面的なものになりがちでした。

マルチモーダルAIを使うと、商談の録音（音声）と、そのときに使っていた提案資料（PDFや画像）を同時に読み込ませることができます。
その結果、資料のどの内容に対して顧客がどんな反応を示したか、資料と発言の内容がずれている箇所はないか、といった論点まで踏まえた議事録や要約が得られるようになります。

単なる発言の書き起こしを超えた、文脈を含む商談振り返りが可能になります（出典: 生成AIで非構造化データを自動処理！— primeNumber）。

画像から内容を読み取り、新しいテキストや画像を生成する

画像から内容を読み取り、その理解に基づいて新しいテキストや画像を生成することも、いまできる代表的な使い方です。

マルチモーダルAIは、単に画像の内容を説明できるだけでなく、そこから読み取った情報を出発点に、別の出力へとつなげられます。
たとえば、既存の商品写真を読み込ませて、その特徴を踏まえたSNS投稿文を生成する。
ホワイトボードに書かれた図をスマートフォンで撮影し、そこから議事メモの下書きを起こす。
既存のバナー画像を読み込ませて、キャンペーンの内容を変えたバリエーション画像案を生成させる。
こうした「画像を読み取って理解し、その理解に基づいて新しいコンテンツを作る」という一連の流れを、1つのモデルのなかで完結させられます。

従来は、画像認識API、テキスト生成AI、画像生成AIをそれぞれ別々に組み合わせる必要がありました。
マルチモーダル入力（画像を読み取れる）と生成AIの出力（新しいテキスト・画像を作れる）が組み合わさったことで初めて成立する使い方です。

これからより期待される：リアルタイムの対人業務をAIが代替する段階

リアルタイムの音声・映像を扱うマルチモーダルAIが、商談・接客・カスタマーサポートといった対人業務の一部を代替する段階が、これからより期待されるものとして挙げられます。

たとえば、AIが顧客とビデオ会議上で対話し、顧客の表情や声のトーンから反応を読み取りながら、質問の意図に応じて説明を切り替える。
あるいは、コールセンターの一次対応をAIが担い、複雑な問い合わせだけをオペレーターにエスカレーションする、といった使い方です。
テキスト・音声・映像を同時にリアルタイム処理するマルチモーダルAIの延長線上に、こうした段階があります。

現時点では、リアルタイム対応の精度・応答速度・微妙なニュアンスの読み取りには、まだ課題が残っています。しかし、2〜3年で「AIがテキストで文章を書く」ことが当たり前になったのと同じスピード感で、リアルタイムに複数種類の情報を扱いながら対人業務を担う段階が当たり前のように実務で扱われるようになる可能性は、決して小さくないと予測しています。

まとめ

マルチモーダルAIは、テキスト・画像・音声・動画といった複数の種類のデータを横断的に扱えるAIのことを指します。

研究としては1980年代から存在した高度な技術ですが、2021年1月から2024年3月で続いた主要AIモデルの発表を通じて、誰もが触れられる存在に変わりました。

生成AIとしばしば混同されますが、切り分け方はシンプルです。
生成AIは「出力側」の進化、つまりAIが新しいコンテンツを作れるようになったこと。
マルチモーダルAIは「入力側」の広がり、つまりAIがテキスト以外の情報も受け取れるようになったことです。
現在は両者を兼ね備えたモデルが主流になっています。

マルチモーダルAIが注目されるようになった背景には、AIが業務のなかで実際に使われる存在に変わったこと、そして業務のなかにはテキスト以外の情報が数多く含まれること、この2つの変化が同時に進んだ事情があります。
単一種類の情報だけで業務を扱える範囲には限りがあり、複数種類の情報を同時に処理できるAIへの需要が、実業務の側から広く生まれてきました。

マルチモーダルAIという言葉は、単なるバズワードではなく、AIが扱える情報の種類が広がり、AIが対応できる業務の範囲そのものが広がる変化を指しています。

定義の理解にとどめず、なぜ今注目されているのか、実務のなかで何が可能になっているのか、これから何が期待できるのかまでを順を追ってご理解いただくことが、本記事のねらいです。