ChatGPT
ちゃっとじーぴーてぃーソフト2022
OpenAIが公開した対話型のAIサービス。自然な文章で質問に答え、文章作成やプログラミングまでこなす。公開直後に爆発的に広まり、生成AIを一般の人々の日常に持ち込んだ象徴的な存在。
概要
2022年11月30日、OpenAIは公式ブログで「対話形式でやり取りするChatGPTというモデルを訓練した」と発表した。対話形式であることによって、ChatGPTは追加の質問に答え、自分の誤りを認め、誤った前提に異議を唱え、不適切な要求を拒否できるとされた。ChatGPTは、プロンプト内の指示に従い詳細な応答を提供するよう訓練された「InstructGPT」の姉妹モデルと位置づけられている。研究プレビュー期間中の利用は無料とされ、当時のOpenAIは「ユーザーからのフィードバックを得て、その強みと弱みを学ぶために」公開すると説明していた。
仕組み
OpenAI自身の説明によれば、このモデルは「人間のフィードバックによる強化学習（RLHF）」を用いて訓練された。InstructGPTと同じ手法だが、データ収集の設定に若干の違いがあるという。まず教師あり微調整で初期モデルを訓練した——人間のAIトレーナーが、利用者とAIアシスタントの両方の役割を演じる会話を提供し、モデルが書いた提案を参考にしながら応答を作成した。この新しい対話データセットを、対話形式に変換したInstructGPTのデータセットと組み合わせた。強化学習用の報酬モデルを作るため、チャットボットとの会話から、複数のモデル応答を品質順にランク付けした比較データを収集し、この報酬モデルを使って近接方策最適化（Proximal Policy Optimization）によりモデルを微調整するという工程を、複数回繰り返したとされる。
| 開発元 | OpenAI |
|---|---|
| 種類 | 対話型AI |
関連項目
- 大規模言語モデル（LLM）膨大な文章を学習し、人間に近い文章を生成できるAIモデル。質問への回答や文章作成、プログラミング支援まで幅広くこなし、2020年代のAI活用の中心になった。
- 生成AI文章・画像・音声などを新しく作り出すAIの総称。2022年のChatGPTや画像生成AIの登場で一気に広まり、創作や仕事のやり方を大きく揺さぶった。情報技術が一般の生活に最も近づいた現象の一つ。