プラットフォームの特徴
キャッシュヒット保証
保護された OpenAI グループには、毎日の最小キャッシュ ヒット率が設定されており、不足分は返金されます。
プロンプト キャッシュにより、繰り返し入力されるトークンの価格が下がりますが、ヒット率はクライアントではなくサービス プロバイダーのルートに依存します。したがって、3 つの OpenAI ルーティング グループには、公開されている毎日の最小キャッシュ ヒット率が含まれます。
| グループ | 1日の目標 |
|---|---|
openai-award |
65% |
openai-stable |
75% |
openai-premium |
85% |
UTC 日の測定レートがターゲットを下回ったままの場合、ターゲットに届かなかったトークンは、それらのリクエストのキャッシュ ミスとキャッシュ読み取りの価格差としてクレジット バックされます。
リクエストを対象にする
Section titled “リクエストを対象にする”- リクエストで
prompt_cache_keyを送信します。 Chat CompletionsResponsesどちらも受け付けております。それのないリクエストはカウントされません。 - プロンプト キャッシュの場合と同様に、そのキーの安定したプレフィックスを保持します。
- 上記のいずれかのグループを使用します。
- 通常の文字入力のみ。画像トークン、音声トークン、またはキャッシュ書き込みを請求するリクエストは、価格設定で 1 つのテキスト トークン比較を共有できないため、除外されます。
シリーズ (1 つのアカウント、1 つの prompt_cache_key、1 つのモデル) は、少なくとも 1 回の実際のキャッシュ読み取りによってプレフィックスがキャッシュ可能であることが証明された後にのみカウントを開始し、その対象となる入力は、そのシリーズ内で実際にキャッシュから読み取られた最大のプレフィックスに制限されます。
UTC 日ウィンドウ
[00:00, 24:00)対象となるリクエストは 1 日以内に蓄積されます。
計算開始
00:10 UTC終わったばかりのあの日のために。
不足分が入金されました
キャッシュミスとキャッシュ読み取りの価格差で、ターゲットから欠落したトークン。
着地点
残高と、リクエストを行ったキーの残りの割り当て。
どこで見られるか
Section titled “どこで見られるか”使用状況のキャッシュ ヒット保証カードには、グループごとに、毎日の目標、測定されたヒット率、選択した範囲のクレジット額が表示されます。
prompt_cache_key のキー付きハッシュのみが使用証拠とともに保持されます。生の値がデータベースに書き込まれることはなく、保護が利用できない場合には保証はまったく宣伝されません。