大規模言語モデル（LLM）
膨大な文章を学習し、人間に近い文章を生成できるAIモデル。質問への回答や文章作成、プログラミング支援まで幅広くこなし、2020年代のAI活用の中心になった。
年表
概要
膨大な量の文章データを学習し、文脈に応じて次に来る言葉を予測する形で、人間に近い文章の生成・理解ができるようになった大規模なニューラルネットワーク。「大規模」の名の通り、モデルが持つパラメータ（学習によって調整される内部の数値）の数が非常に多い点が特徴で、パラメータ数を増やすほど性能が向上する傾向が見られてきた。
仕組み
2017年にGoogleの研究者らが発表した論文「Attention Is All You Need」で提案された「Transformer」というモデル構造が、現在の大規模言語モデルの基盤になっている。この論文の要旨は、それまで主流だった再帰的・畳み込み的なニューラルネットワークを使わず、注意機構（Attention）だけに基づく新しいモデルを提案するものだった。大規模言語モデルはこのTransformer構造を土台に、桁違いに大きなデータ量とパラメータ数で学習される。
時代背景
2020年、OpenAIは論文「Language Models are Few-Shot Learners」で1750億パラメータの「GPT-3」を発表した。論文はGPT-3を「それ以前のどの非スパース言語モデルよりも10倍多い」パラメータ数を持つモデルと説明し、勾配更新やファインチューニングを行わずに、プロンプトに与えた例だけで様々なタスクをこなす「few-shot」性能を示した。この規模拡大の路線が、後の大規模言語モデルブームの土台になったとされる。
現在
大規模言語モデルは質問応答・文章作成・翻訳・プログラミング支援など幅広い用途で使われ、2020年代のAI活用の中心的な技術になっている。文章だけでなく画像なども扱えるように拡張したモデルや、自ら手順を考えて道具を使うAIエージェントの基盤としても使われている。
| 分野 | 人工知能・自然言語処理 |
|---|
関連項目
- 深層学習（ディープラーニング）人間の脳を模した多層のネットワークで学習する手法。2012年の画像認識コンペでの圧勝をきっかけに一気に注目され、現代のAIブームの起点になった。
- TransformerGoogleの研究者が発表した深層学習の構造。文の中でどの単語が重要かに「注意」を向ける仕組みで、長い文脈を扱えるようにした。これが後の大規模言語モデルや生成AIすべての土台になった。
- 生成AI文章・画像・音声などを新しく作り出すAIの総称。2022年のChatGPTや画像生成AIの登場で一気に広まり、創作や仕事のやり方を大きく揺さぶった。情報技術が一般の生活に最も近づいた現象の一つ。
- AIエージェント指示を受けて自分で手順を考え、道具を使いながら仕事を進めるAI。単に答えるだけでなく「動いて成し遂げる」方向へAIが進んだ段階で、2024年以降に開発や業務での活用が広がった。
- ChatGPTOpenAIが公開した対話型のAIサービス。自然な文章で質問に答え、文章作成やプログラミングまでこなす。公開直後に爆発的に広まり、生成AIを一般の人々の日常に持ち込んだ象徴的な存在。
- マルチモーダルAI文章だけでなく画像・音声なども一緒に扱えるAI。2023年に登場したGPT-4などが画像を理解できるようになり、AIが「読む」だけでなく「見る・聞く」へと広がった。生成AIが実用の幅を一気に広げた段階。