Fitur platform
Jaminan rasio cache hit
Grup OpenAI yang dilindungi memiliki tingkat cache hit harian minimum, dan kekurangan akan dikreditkan kembali.
Caching cepat menurunkan harga token input berulang, namun tingkat keberhasilan bergantung pada rute penyedia layanan, bukan pada klien Anda. Oleh karena itu, tiga grup perutean OpenAI memiliki tingkat hit cache harian minimum yang dipublikasikan:
| Grup | Target harian |
|---|---|
openai-award |
65% |
openai-stable |
75% |
openai-premium |
85% |
Jika nilai terukur untuk satu hari UTC tetap di bawah target, token yang hilang dari target akan dikreditkan kembali dengan selisih harga antara cache yang hilang dan pembacaan cache pada permintaan tersebut.
Membuat permintaan memenuhi syarat
Section titled “Membuat permintaan memenuhi syarat”- Kirim
prompt_cache_keyberdasarkan permintaan. Chat Completions dan Responses keduanya menerimanya. Permintaan tanpanya tidak dihitung. - Pertahankan awalan yang stabil untuk kunci tersebut, seperti yang Anda lakukan untuk cache prompt apa pun.
- Gunakan salah satu grup di atas.
- Input teks biasa saja. Permintaan yang menagih token gambar, token audio, atau penulisan cache dikecualikan, karena harganya tidak dapat berbagi satu perbandingan token teks.
Sebuah rangkaian — satu akun, satu prompt_cache_key, satu model — mulai menghitung hanya setelah setidaknya satu pembacaan cache nyata telah membuktikan bahwa awalan dapat di-cache, dan masukan yang memenuhi syarat dibatasi pada awalan terbesar yang benar-benar dibaca dari cache dalam rangkaian tersebut.
Jendela dan pemukiman
Section titled “Jendela dan pemukiman”Jendela hari UTC
[00:00, 24:00)Permintaan yang memenuhi syarat diakumulasikan dalam satu hari.
Perhitungan dimulai
00:10 UTCUntuk hari yang baru saja ditutup.
Kekurangan dikreditkan
Token hilang dari target, dengan perbedaan harga antara cache yang hilang dan pembacaan cache.
Tempat mendaratnya
Saldo Anda, dan sisa kuota kunci yang membuat permintaan.
Di mana melihatnya
Section titled “Di mana melihatnya”Kartu Cache Hit Guarantee di Usage menunjukkan, per grup, target harian, hit rate terukur, dan jumlah yang dikreditkan untuk rentang yang dipilih.
Apa yang disimpan
Section titled “Apa yang disimpan”Hanya hash berkunci prompt_cache_key yang disimpan bersama bukti penggunaan. Nilai mentah tidak pernah ditulis ke database, dan jaminan tidak diiklankan sama sekali ketika perlindungan tersebut tidak tersedia.