Fonctionnalités de la plateforme
Fonctionnalités de la plateforme
Routage, protection du cache et gestion des données que la passerelle ajoute en plus des API du modèle.
Modelflare est plus qu’un proxy pass-through. Cinq comportements de plateforme déterminent la manière dont une requête est acheminée, ce qu’il en coûte en cas d’échec d’un itinéraire, ce qui se passe lorsque la mise en cache des invites est sous-performante, combien de temps l’enregistrement de celle-ci est conservé et comment une équipe partage un même solde. Ils s’appliquent à chaque point de terminaison documenté sur ce site et ne nécessitent aucune modification de votre code client.
Clé API intelligente
Une clé pour chaque modèle que votre compte peut utiliser, avec une stratégie de routage au lieu d'un groupe fixe.
Basculement entre groupes
Un groupe principal plus des groupes de secours ordonnés, donc une route indisponible ne fait pas échouer la demande.
Garantie de taux de succès du cache
Les groupes OpenAI protégés ont un taux de réussite quotidien minimum dans le cache ; un manque à gagner est recrédité.
Conservation des données
Combien de temps les journaux et les diagnostics de panne sont conservés et comment les raccourcir pour votre compte.
Comptes entreprise
Un solde partagé pour une équipe, avec des clés à préfixe et un budget de dépense par membre.
Prix, disponibilité et groupe auquel chaque modèle est activé lors du séjour sur Modèles et tarifs.