Plattformfunktionen
Garantie für Cache-Treffer
Geschützte OpenAI-Gruppen haben eine tägliche Mindest-Cache-Trefferquote und ein Defizit wird zurückerstattet.
Prompt-Caching senkt den Preis für wiederholte Eingabetokens, aber die Trefferquote hängt von der Route des Dienstanbieters und nicht von Ihrem Client ab. Drei OpenAI-Routinggruppen verfügen daher über eine veröffentlichte tägliche Mindest-Cache-Trefferquote:
| Gruppe | Tagesziel |
|---|---|
openai-award |
65% |
openai-stable |
75% |
openai-premium |
85% |
Wenn die gemessene Rate für einen UTC-Tag unter dem Ziel bleibt, werden die vom Ziel fehlenden Token zum Preisunterschied zwischen einem Cache-Miss und einem Cache-Lesevorgang bei diesen Anfragen gutgeschrieben.
Anfragen zulässig machen
Abschnitt betitelt „Anfragen zulässig machen“- Senden Sie
prompt_cache_keyauf die Anfrage. Chat Completions und Responses akzeptieren es beide. Eine Anfrage ohne diese Angabe wird nicht gezählt. - Behalten Sie ein stabiles Präfix für diesen Schlüssel bei, wie Sie es für jeden Eingabeaufforderungs-Cache tun würden.
- Verwenden Sie eine der oben genannten Gruppen.
- Nur normale Texteingabe. Anfragen, die Bild-Tokens, Audio-Tokens oder Cache-Schreibvorgänge in Rechnung stellen, sind ausgeschlossen, da ihre Preise keinen Text-Token-Vergleich aufweisen können.
Eine Serie – ein Konto, ein prompt_cache_key, ein Modell – beginnt erst zu zählen, nachdem mindestens ein echter Cache-Lesevorgang bewiesen hat, dass das Präfix zwischenspeicherbar ist, und seine zulässige Eingabe ist auf das größte tatsächlich aus dem Cache in dieser Serie gelesene Präfix begrenzt.
Fenster und Abrechnung
Abschnitt betitelt „Fenster und Abrechnung“UTC-Tagesfenster
[00:00, 24:00)Innerhalb eines Tages sammeln sich berechtigte Anfragen.
Berechnung startet
00:10 UTCFür den Tag, der gerade zu Ende gegangen ist.
Fehlbetrag gutgeschrieben
Die im Ziel fehlenden Token, entsprechend der Preisdifferenz zwischen einem Cache-Miss und einem Cache-Lesevorgang.
Wo es landet
Ihr Guthaben und das verbleibende Kontingent des Schlüssels, der die Anfragen gestellt hat.
Wo es zu sehen ist
Abschnitt betitelt „Wo es zu sehen ist“Die Karte Cache-Treffer-Garantie in Nutzung zeigt pro Gruppe das Tagesziel, die gemessene Trefferquote und den gutgeschriebenen Betrag für den ausgewählten Bereich an.
Was wird gespeichert
Abschnitt betitelt „Was wird gespeichert“Nur ein verschlüsselter Hash von prompt_cache_key wird mit dem Nutzungsnachweis aufbewahrt. Der Rohwert wird niemals in die Datenbank geschrieben und die Garantie wird überhaupt nicht angekündigt, wenn dieser Schutz nicht verfügbar ist.