Características de la plataforma
Garantía de aciertos de caché
Los grupos OpenAI protegidos tienen una tasa mínima de aciertos de caché diarios y el déficit se acredita.
El almacenamiento en caché rápido reduce el precio de los tokens de entrada repetidos, pero la tasa de aciertos depende de la ruta del proveedor de servicios y no de su cliente. Por lo tanto, tres grupos de enrutamiento OpenAI tienen una tasa de aciertos de caché diaria mínima publicada:
| Grupo | Objetivo diario |
|---|---|
openai-award |
65% |
openai-stable |
75% |
openai-premium |
85% |
Si la tasa medida para un día UTC se mantiene por debajo del objetivo, los tokens que faltan en el objetivo se acreditan a la diferencia de precio entre una pérdida de caché y una lectura de caché en esas solicitudes.
Hacer elegibles las solicitudes
Sección titulada «Hacer elegibles las solicitudes»- Enviar
prompt_cache_keyen la solicitud. Chat Completions y Responses lo aceptan. Una solicitud sin él no se cuenta. - Mantenga un prefijo estable para esa clave, como lo haría para cualquier caché de aviso.
- Utilice uno de los grupos anteriores.
- Sólo entrada de texto normal. Se excluyen las solicitudes que facturan tokens de imagen, tokens de audio o escrituras en caché, porque sus precios no pueden compartir una comparación de token de texto.
Una serie (una cuenta, una prompt_cache_key, un modelo) comienza a contar solo después de que al menos una lectura de caché real haya demostrado que el prefijo se puede almacenar en caché y su entrada elegible está limitada al prefijo más grande realmente leído de la caché en esa serie.
Ventana y liquidación
Sección titulada «Ventana y liquidación»Ventana del día UTC
[00:00, 24:00)Las solicitudes elegibles se acumulan en el plazo de un día.
Comienza el cálculo
00:10 UTCPara el día que acaba de cerrar.
Déficit acreditado
Los tokens que faltan en el objetivo, a la diferencia de precio entre una pérdida de caché y una lectura de caché.
Donde aterriza
Su saldo y el cupo restante de la clave que realizó las solicitudes.
Dónde verlo
Sección titulada «Dónde verlo»La tarjeta Garantía de aciertos de caché en Uso muestra, por grupo, el objetivo diario, la tasa de aciertos medida y la cantidad acreditada para el rango seleccionado.
Qué se almacena
Sección titulada «Qué se almacena»Solo se conserva un hash con clave de prompt_cache_key con la evidencia de uso. El valor bruto nunca se escribe en la base de datos y la garantía no se anuncia en absoluto cuando esa protección no está disponible.