跳到內容
開放式卡斯塔利控制台

平台功能

快取命中保障

受保護的 OpenAI 群組具有最低每日快取命中率,不足部分將被退回。

提示詞快取能降低重複輸入 token 的費用,但命中率取決於服務供應商的路由,而非用戶端。因此,下列三個 OpenAI 路由分組設有公開的每日最低快取命中率:

組 每日目標
openai-award 65%
openai-stable 75%
openai-premium 85%

如果 UTC 日的測量速率低於目標,則目標中缺少的令牌將按這些請求的快取未命中和快取讀取之間的價格差記入貸方。

  • 根據請求發送 prompt_cache_key。 Chat Completions和Responses都接受它。沒有它的請求不被計算在內。
  • 為該鍵保留穩定的前綴,就像任何提示快取一樣。
  • 使用上述組別之一。
  • 僅限普通文字輸入。對圖像令牌、音訊令牌或快取寫入進行計費的請求被排除在外,因為它們的定價無法共享一種文字令牌比較。

一個系列 - 一個帳戶、一個 prompt_cache_key、一個模型 - 僅在至少一次實際快取讀取證明前綴可緩存後才開始計數,並且其合格輸入上限為該系列中實際從快取讀取的最大前綴。

UTC 日窗口

[00:00, 24:00)

符合條件的請求在一天內累積。

計算開始

00:10 UTC

剛結束的一天。

已記入缺口

目標中缺少的令牌,其價格差異是快取未命中和快取讀取之間的差異。

落地地點

您的餘額以及發出要求的密鑰的剩餘配額。

使用情况中的缓存命中保证卡显示每组的每日目标、测量的命中率以及所选范围的记入金额。

僅 prompt_cache_key 的密鑰雜湊與使用證據一起保存。原始值永遠不會寫入資料庫,當保護不可用時,根本不會公佈保證。