マルチモーダルAI
まるちもーだるえーあい概念2023
文章だけでなく画像・音声なども一緒に扱えるAI。2023年に登場したGPT-4などが画像を理解できるようになり、AIが「読む」だけでなく「見る・聞く」へと広がった。生成AIが実用の幅を一気に広げた段階。
年表
2023OpenAIが画像とテキストを扱えるマルチモーダルモデル「GPT-4」の技術報告書を発表（arXiv初版投稿は3月15日）
概要
文章だけでなく、画像・音声など複数の種類（モダリティ）の情報をまとめて扱えるAI。2023年3月、OpenAIが発表した論文「GPT-4 Technical Report」は、GPT-4を「画像とテキストの入力を受け取り、テキストの出力を行うことができる大規模なマルチモーダルモデル」と説明している。それまでのAIの多くが文章だけを扱っていたのに対し、画像も同時に理解できるようになった点が転換点となった。
仕組み
論文によれば、GPT-4は次のトークンを予測するよう事前学習されたTransformerベースのモデルであり、事前学習後の調整（アライメント）の過程を経て、事実性や望ましい振る舞いへの適合性を高めている。開発においては、幅広い規模で予測可能に振る舞うインフラと最適化手法の構築が中核的な要素だったとされ、GPT-4の計算量の1000分の1以下で学習したモデルから、GPT-4の性能の一部を精度良く予測できたという。
現在
画像とテキストを同時に扱えるマルチモーダルAIの登場により、AIは「読む・書く」だけでなく「見る」ことができる範囲へと役割を広げた。その後、音声を含めたやり取りができるモデルも登場し、生成AIが実用の幅を広げる一段階として位置づけられている。
| 分野 | 人工知能 |
|---|
関連項目
- 大規模言語モデル（LLM）膨大な文章を学習し、人間に近い文章を生成できるAIモデル。質問への回答や文章作成、プログラミング支援まで幅広くこなし、2020年代のAI活用の中心になった。
- 生成AI文章・画像・音声などを新しく作り出すAIの総称。2022年のChatGPTや画像生成AIの登場で一気に広まり、創作や仕事のやり方を大きく揺さぶった。情報技術が一般の生活に最も近づいた現象の一つ。