Đảm bảo tỷ lệ cache hit

Bộ nhớ đệm nhắc nhở làm giảm giá của mã thông báo đầu vào lặp lại, nhưng tỷ lệ trúng phụ thuộc vào lộ trình của nhà cung cấp dịch vụ thay vì khách hàng của bạn. Do đó, ba nhóm định tuyến OpenAI có tỷ lệ truy cập bộ nhớ đệm hàng ngày tối thiểu được công bố:

Nhóm	Mục tiêu hàng ngày
`openai-award`	65%
`openai-stable`	75%
`openai-premium`	85%

Nếu tốc độ đo được cho một ngày UTC vẫn thấp hơn mục tiêu, thì số mã thông báo bị thiếu trong mục tiêu sẽ được ghi có trở lại với mức chênh lệch giá giữa lần bỏ lỡ bộ nhớ đệm và lần đọc bộ nhớ đệm theo các yêu cầu đó.

Làm cho yêu cầu trở nên đủ điều kiện

Gửi prompt_cache_key theo yêu cầu. Chat Completions và Responses đều chấp nhận nó. Một yêu cầu không có nó sẽ không được tính.
Giữ tiền tố ổn định cho khóa đó, giống như cách bạn làm với bất kỳ bộ đệm nhắc nhở nào.
Sử dụng một trong các nhóm trên.
Chỉ nhập văn bản thông thường. Các yêu cầu tính phí mã thông báo hình ảnh, mã thông báo âm thanh hoặc ghi vào bộ nhớ đệm đều bị loại trừ vì giá của chúng không thể chia sẻ một so sánh mã thông báo văn bản.

Một chuỗi — một tài khoản, một prompt_cache_key, một mô hình — chỉ bắt đầu đếm sau khi ít nhất một lần đọc bộ nhớ đệm thực đã chứng minh rằng tiền tố có thể lưu vào bộ nhớ đệm và đầu vào đủ điều kiện của nó được giới hạn ở tiền tố lớn nhất thực sự được đọc từ bộ nhớ đệm trong chuỗi đó.

Cửa sổ và quyết toán

Cửa sổ ngày UTC

[00:00, 24:00)

Các yêu cầu đủ điều kiện sẽ tích lũy trong một ngày.

Bắt đầu tính toán

00:10 UTC

Cho ngày vừa khép lại.

Đã ghi nhận khoản thiếu hụt

Các mã thông báo bị thiếu trong mục tiêu, ở mức chênh lệch giá giữa một lần đọc bộ nhớ đệm và một lần đọc bộ nhớ đệm.

Nơi nó hạ cánh

Số dư của bạn và hạn ngạch còn lại của khóa đã thực hiện yêu cầu.

Xem ở đâu

Thẻ Đảm bảo truy cập bộ nhớ đệm trong Usage hiển thị, theo nhóm, mục tiêu hàng ngày, tỷ lệ trúng được đo và số tiền được ghi có cho phạm vi đã chọn.

Những gì được lưu trữ

Chỉ hàm băm có khóa của prompt_cache_key được lưu giữ cùng với bằng chứng sử dụng. Giá trị thô không bao giờ được ghi vào cơ sở dữ liệu và bảo đảm hoàn toàn không được quảng cáo khi tính năng bảo vệ đó không khả dụng.