※本記事は一次情報をもとにAI支援によって構成・作成し、事実関係の照合を行っています。
発表内容（事実）
OpenAIは、APIドキュメントにおいてプロンプトキャッシング（Prompt caching）の仕組みと利点を公開しました。プロンプトキャッシングは、対応するOpenAIモデルでデフォルトで有効になっており、リクエスト間で同じプロンプトプレフィックスを共有することで処理を再利用する機能です。
主なメリットとして、計算の効率化、入力トークンの費用削減（最大95%の割引となるキャッシュ済み入力レートの適用）、応答開始までの処理時間短縮の3点が挙げられています。また、キャッシュの読み取りヒット率は「Prompt Caching Dashboard」で監視でき、「Prompt Cache Diagnostics tool」を用いることでキャッシュミスの診断やキャッシュ再利用の改善を行うことが可能です。
Agents APIのモデル呼び出しはResponses APIと同じプロンプトキャッシングの挙動を示し、セッション内でコンテキストを再利用することで共通のプロンプトプレフィックスを維持できます。ただし、セッションを維持してもキャッシュヒットが保証されるわけではありません。
この記事のポイント
- 計算効率の向上: すでにモデルが処理したプロンプトプレフィックスの再計算を回避します。
- キャッシュ済み入力の割引: 再利用されたトークンに対して、最大95%割引のキャッシュ済み入力レートが適用されます。
- 応答速度の高速化: 応答が開始される前の入力処理時間を短縮します。
- 監視と診断ツール: Dashboardでのヒット率監視や、Diagnostics toolによるキャッシュミスの診断が可能です。
考察（筆者の見解）
事実として、プロンプトキャッシングはKV（キー・バリュー）ステートを保存し、プレフィックスが一致する場合に再利用することで効率化を図る仕組みです。モデル、ツール定義、メッセージ、会話履歴など、完全にレンダリングされたプレフィックス全体が一致する必要があり、設定変更によってはキャッシュが利用できなくなる場合があります。
推測ですが、システム内の設定やパラメータ（モデルの変更、ツールの定義や順序の変更、コンテキスト管理による圧縮など）を変更するとプレフィックスが変わるため、キャッシュ効率を最大化するにはリクエスト構造の設計やパラメータの固定化が重要になると考えられます。
筆者の意見としては、API利用コストやレイテンシに悩む開発者にとって、プロンプトキャッシングのヒット率最適化は実務上の重要なチューニング項目になると見られます。
コメント