Transformer
とらんすふぉーまー概念2017
Googleの研究者が発表した深層学習の構造。文の中でどの単語が重要かに「注意」を向ける仕組みで、長い文脈を扱えるようにした。これが後の大規模言語モデルや生成AIすべての土台になった。
年表
20176月12日、「Attention Is All You Need」がarXivに投稿される（Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhinの8名）
概要
文章の中でどの単語がどの単語と関係しているかを、一度に並列で計算する深層学習の構造。従来のように文頭から順番に処理する必要がなく、長い文脈を効率よく扱える。この仕組みが後の大規模言語モデルすべての土台になった。
時代背景
2017年6月12日、Ashish Vaswaniら8名の研究者が「Attention Is All You Need」という論文をarXivに投稿した。タイトルの通り、それまで機械翻訳などで主流だった再帰的な処理（RNN）や畳み込み層を一切使わず、「注意機構（アテンション）」だけで系列を扱えることを示した。
現在
GPTやBERTをはじめ、今日の大規模言語モデル・生成AIのほぼすべてがTransformer構造を土台にしている。
| 分野 | 人工知能 |
|---|---|
| 論文 | Attention Is All You Need |
関連項目
- 深層学習（ディープラーニング）人間の脳を模した多層のネットワークで学習する手法。2012年の画像認識コンペでの圧勝をきっかけに一気に注目され、現代のAIブームの起点になった。
- 大規模言語モデル（LLM）膨大な文章を学習し、人間に近い文章を生成できるAIモデル。質問への回答や文章作成、プログラミング支援まで幅広くこなし、2020年代のAI活用の中心になった。
- 生成AI文章・画像・音声などを新しく作り出すAIの総称。2022年のChatGPTや画像生成AIの登場で一気に広まり、創作や仕事のやり方を大きく揺さぶった。情報技術が一般の生活に最も近づいた現象の一つ。