Garantia de acertos de cache

O cache de prompt reduz o preço de tokens de entrada repetidos, mas a taxa de acerto depende da rota do provedor de serviços e não do seu cliente. Três grupos de roteamento OpenAI, portanto, carregam uma taxa diária mínima de acertos de cache publicada:

Grupo	Meta diária
`openai-award`	65%
`openai-stable`	75%
`openai-premium`	85%

Se a taxa medida para um dia UTC permanecer abaixo da meta, os tokens ausentes na meta serão creditados de volta à diferença de preço entre uma perda de cache e uma leitura de cache nessas solicitações.

Tornar as solicitações elegíveis

Envie prompt_cache_key na solicitação. Chat Completions e Responses aceitam. Uma solicitação sem ele não é contada.
Mantenha um prefixo estável para essa chave, como faria para qualquer cache de prompt.
Use um dos grupos acima.
Somente entrada de texto comum. As solicitações que cobram tokens de imagem, tokens de áudio ou gravações de cache são excluídas, porque seus preços não podem compartilhar uma comparação de token de texto.

Uma série — uma conta, uma prompt_cache_key, um modelo — começa a contar somente depois que pelo menos uma leitura de cache real provou que o prefixo pode ser armazenado em cache e sua entrada elegível é limitada ao maior prefixo realmente lido do cache naquela série.

Janela e liquidação

Janela do dia UTC

[00:00, 24:00)

As solicitações elegíveis acumulam-se em um dia.

Cálculo começa

00:10 UTC

Para o dia que acaba de encerrar.

Déficit creditado

Os tokens ausentes do alvo, pela diferença de preço entre uma perda de cache e uma leitura de cache.

Onde pousa

Seu saldo e a cota restante da chave que fez as solicitações.

Onde ver

O cartão Cache Hit Guarantee em Uso mostra, por grupo, a meta diária, a taxa de acerto medida e o valor creditado para o intervalo selecionado.

O que está armazenado

Apenas um hash codificado de prompt_cache_key é mantido com a evidência de uso. O valor bruto nunca é gravado no banco de dados e a garantia não é anunciada quando essa proteção não está disponível.