Recursos da plataforma
Recursos da plataforma
Roteamento, proteção de cache e manipulação de dados que o gateway adiciona às APIs do modelo.
Modelflare é mais do que um proxy de passagem. Quatro comportamentos de plataforma decidem como uma solicitação é roteada, quanto custa quando uma rota falha, o que acontece quando o cache de prompt apresenta desempenho inferior e por quanto tempo o registro dela é mantido. Eles se aplicam a todos os endpoints documentados neste site e não precisam de alterações no código do seu cliente.
Chave de API inteligente
Uma chave para cada modelo que sua conta pode usar, com uma estratégia de roteamento em vez de um grupo fixo.
Failover entre grupos
Um grupo primário mais grupos de fallback ordenados, de forma que uma rota indisponível não falhe na solicitação.
Garantia de acertos de cache
Grupos OpenAI protegidos apresentam uma taxa mínima diária de acertos de cache; um déficit é creditado de volta.
Retenção de dados
Por quanto tempo os logs e diagnósticos de falhas são mantidos e como reduzi-los para sua conta.
Preços, disponibilidade e grupo em que cada modelo está habilitado, fique em Modelos e Preços.