Fonctionnalités de la plateforme
Garantie de taux de succès du cache
Les groupes OpenAI protégés ont un taux de réussite quotidien minimum dans le cache, et un déficit est recrédité.
La mise en cache des invites réduit le prix des jetons d’entrée répétés, mais le taux de réussite dépend de l’itinéraire du fournisseur de services plutôt que de votre client. Trois groupes de routage OpenAI affichent donc un taux de réussite quotidien minimum publié dans le cache :
| Groupe | Objectif quotidien |
|---|---|
openai-award |
65% |
openai-stable |
75% |
openai-premium |
85% |
Si le taux mesuré pour un jour UTC reste inférieur à l’objectif, les jetons manquants dans l’objectif sont recrédités à la différence de prix entre un échec de cache et une lecture de cache sur ces requêtes.
Rendre les demandes éligibles
Section intitulée « Rendre les demandes éligibles »- Envoyez
prompt_cache_keysur la demande. Chat Completions et Responses l’acceptent tous deux. Une demande sans cela n’est pas comptée. - Conservez un préfixe stable pour cette clé, comme vous le feriez pour n’importe quel cache d’invite.
- Utilisez l’un des groupes ci-dessus.
- Saisie de texte ordinaire uniquement. Les demandes visant à facturer des jetons d’image, des jetons audio ou des écritures de cache sont exclues, car leur tarification ne peut pas partager une comparaison de jeton de texte.
Une série - un compte, un prompt_cache_key, un modèle - ne commence à compter qu’après qu’au moins une lecture réelle du cache a prouvé que le préfixe peut être mis en cache, et son entrée éligible est limitée au plus grand préfixe réellement lu dans le cache dans cette série.
Fenêtre et règlement
Section intitulée « Fenêtre et règlement »Fenêtre de jour UTC
[00:00, 24:00)Les demandes éligibles s'accumulent en une journée.
Le calcul démarre
00:10 UTCPour la journée qui vient de se clôturer.
Manque à gagner crédité
Les tokens manquants de la cible, à la différence de prix entre un cache miss et une cache read.
Où il atterrit
Votre solde et le quota restant de la clé qui a effectué les demandes.
Où le voir
Section intitulée « Où le voir »La carte Cache Hit Garantie dans Usage affiche, par groupe, l’objectif quotidien, le taux de réussite mesuré et le montant crédité pour la plage sélectionnée.
Ce qui est stocké
Section intitulée « Ce qui est stocké »Seul un hachage à clé de prompt_cache_key est conservé avec la preuve d’utilisation. La valeur brute n’est jamais écrite dans la base de données et la garantie n’est pas du tout annoncée lorsque cette protection n’est pas disponible.