※本記事は一次情報をもとにAI支援によって構成・作成し、事実関係の照合を行っています。
発表内容（事実）
OpenAIは2022年11月30日、会話形式でやり取りを行うAIモデル「ChatGPT」を発表しました。ChatGPTはInstructGPTの兄弟モデルであり、ユーザーのプロンプトに対する詳細な応答を行うように訓練されています。
訓練手法としては、人間のフィードバックによる強化学習（RLHF）が採用されています。初期モデルは、人間のAIトレーナーがユーザーとAIアシスタントの両方を演じた会話データを用いた教師ありファインチューニングによって訓練されました。また、GPT-3.5シリーズのモデルをベースに微調整が行われており、Azure AIスーパーコンピューティングインフラストラクチャ上で訓練が実施されました。
この記事のポイント
- 会話形式での対話：フォローアップの質問への回答、間違いの認める、不適切な要求の拒否などが可能な会話フォーマットを採用。
- 訓練手法：InstructGPTと同じRLHFの手法を活用しつつ、データ収集のセットアップに微小な違いを持たせて訓練を実施。
- ベースモデル：2022年初期に訓練が完了したGPT-3.5シリーズのモデルから微調整を実施。
- 既知の制限事項：もっともらしい誤答、入力の言い回しに対する敏感さ、冗長性、不適切な指示への反応などの課題が存在する。
考察（筆者の見解）
事実：ChatGPTの発表時点において、モデルはRLHFを用いて訓練され、GPT-3.5シリーズをベースとしていました。また、モデルの制限として、事実とは異なるもっともらしい回答の生成や、入力のフレーズ変更に対する出力の変動などが挙げられています。
推測：初期の発表段階からユーザーからのフィードバック収集を重視していることから、実運用や公開を通じたデータ収集がその後のモデル改善において重要な役割を果たしたと推測されます。また、強化学習における正解データの不在や過剰最適化の問題は、当時の対話モデルにおける共通のボトルネックであったと考えられます。
意見：筆者は、AIモデルの安全性確保とハルシネーション（もっともらしい誤答）の抑制において、RLHFやモデレーションAPIの活用といったアプローチが基礎的なマイルストーンになったと考えます。
コメント