캐시 적중 보장

프롬프트 캐싱은 반복되는 입력 토큰의 가격을 낮추지만 적중률은 클라이언트가 아닌 서비스 제공자 경로에 따라 다릅니다. 따라서 3개의 OpenAI 라우팅 그룹은 게시된 최소 일일 캐시 적중률을 갖습니다.

UTC 일 동안 측정된 비율이 목표보다 낮게 유지되면 목표에서 누락된 토큰은 해당 요청에 대한 캐시 누락과 캐시 읽기 간의 가격 차이로 다시 적립됩니다.

요청을 적격하게 만들기

요청에 대해 prompt_cache_key을 보냅니다. Chat Completions, Responses 모두 가능합니다. 그것이 없는 요청은 계산되지 않습니다.
프롬프트 캐시와 마찬가지로 해당 키에 대해 안정적인 접두사를 유지합니다.
위의 그룹 중 하나를 사용하세요.
일반 텍스트 입력만 가능합니다. 청구서 이미지 토큰, 오디오 토큰 또는 캐시 쓰기 요청은 제외됩니다. 해당 가격 책정은 하나의 텍스트 토큰 비교를 공유할 수 없기 때문입니다.

시리즈(계정 1개, prompt_cache_key 1개, 모델 1개)는 최소 한 번의 실제 캐시 읽기가 접두어가 캐시 가능하다는 것을 입증한 후에만 계산을 시작하고 해당 입력은 해당 시리즈의 캐시에서 실제로 읽은 가장 큰 접두사로 제한됩니다.

UTC 날짜 창

[00:00, 24:00)

적격 요청은 하루 안에 누적됩니다.

계산 시작

00:10 UTC

막 문을 닫은 날을 위해.

부족분 인정

캐시 누락과 캐시 읽기의 가격 차이로 인해 대상에서 토큰이 누락되었습니다.

그것이 착륙하는 곳

잔액 및 요청한 키의 남은 할당량입니다.

사용량의 캐시 적중 보장 카드에는 그룹별 일일 목표, 측정된 적중률 및 선택한 범위에 대해 적립된 금액이 표시됩니다.

prompt_cache_key의 키 해시만 사용 증거와 함께 보관됩니다. 원시 값은 데이터베이스에 기록되지 않으며 해당 보호를 사용할 수 없는 경우 보증이 전혀 광고되지 않습니다.