Tutoriel sur l’inférence

Guide du développeur pour utiliser l’inférence baseten

Service partenaire distinct : /go ouvre le catalogue de l’API d’inférence IA pour l’inférence sur des modèles existants et l’accès à l’API, et non le service de déploiement personnalisé de Baseten ni un catalogue de LLM. Connectez-vous et vérifiez sur place les tarifs et la disponibilité de chaque modèle.

Si vous apprenez à utiliser l’inférence baseten, commencez avec un modèle auquel vous avez accès et une petite entrée de test. Ce guide suit la requête de sa préparation jusqu’à la vérification de la réponse, sans présumer du format d’entrée d’un modèle particulier.

Visuel abstrait représentant un processus d’inférence de modèle

étapes numérotées

Suivez cette séquence avec un modèle et une entrée représentative avant d’intégrer l’inférence à une application plus vaste.

  1. 1

    Choisir le modèle

    Identifiez le modèle que vous souhaitez appeler et consultez ses instructions actuelles concernant les entrées et les sorties. Un modèle de texte, un modèle d’image et un modèle d’embeddings peuvent attendre des champs de requête différents.

  2. 2

    Envoyer une petite requête de test

    Utilisez la méthode d’accès indiquée pour ce modèle, fournissez des données minimales valides et ne placez pas les identifiants dans les fichiers source ni dans le code accessible depuis le navigateur.

  3. 3

    Examiner le résultat

    Vérifiez si la requête a réussi, puis examinez les données renvoyées avant d’écrire du code qui suppose une structure de réponse particulière.

étapes numérotées

Vérifiez ces prérequis avant votre première requête d’inférence Baseten ; la documentation propre au modèle prévaut sur un exemple générique.

Obligatoire Facultatif
  • Identifiez un modèle accessible et ses instructions d’inférence actuelles. — Notez l’identifiant du modèle ou le point de terminaison exactement tel qu’il est fourni pour le modèle choisi.

  • Préparez la méthode d’authentification requise par le service que vous appelez. — Stockez tout secret hors du code enregistré dans le dépôt et des applications côté client.

  • Créez une entrée conforme au schéma documenté du modèle. — Utilisez un petit exemple représentatif plutôt qu’un lot complet.

  • Choisissez un outil capable d’envoyer une requête et d’afficher la réponse complète. — Un client API ou un court script côté serveur peut vous aider à examiner le statut et les champs renvoyés.

  • Préparez une deuxième entrée à des fins de comparaison une fois que la première requête fonctionne.facultatif — Un exemple contrasté peut révéler des hypothèses dans votre code de traitement des réponses.

étapes numérotées

La première requête réussie doit démontrer que votre modèle, votre entrée et votre code de traitement des réponses sont compatibles, et non simplement qu’une connexion existe.

1

Confirmer le format de la requête

Consultez les instructions du modèle que vous avez choisi. Repérez où placer les données d’entrée, quels champs sont obligatoires et quel type de sortie est attendu. Ne copiez pas la charge utile d’un autre modèle sous prétexte qu’il fonctionne lui aussi sur Baseten : un mode de transmission identique n’implique pas des données d’entrée identiques. Conservez une courte note locale sur le modèle et la charge utile testés pour faciliter le suivi des modifications ultérieures.

2

Effectuer un appel contrôlé

Envoyez une entrée minimale et valide par l’interface prise en charge par ce modèle. Limitez volontairement le premier test d’inférence sur Baseten : un court extrait de texte pour une tâche textuelle, ou un fichier préparé de manière appropriée pour un modèle acceptant d’autres médias. Consignez le statut de la requête et tout message d’erreur sans enregistrer de secrets. Si l’appel échoue, ne modifiez qu’un paramètre à la fois au lieu de réécrire toute l’intégration.

3

Examiner la sortie avant de l’utiliser

Examinez l’intégralité de la structure renvoyée, et pas seulement le champ que vous espériez recevoir. Vérifiez que la sortie correspond à votre entrée et que votre application peut gérer sans risque les résultats vides ou inattendus. Ce n’est qu’après cette vérification que vous devez intégrer la réponse à vos propres types de données ou à votre interface utilisateur. Répétez le test avec une deuxième entrée pour repérer les hypothèses codées en dur.

Erreurs courantes et solutions

Un guide général ne peut pas diagnostiquer tous les modèles, mais ces vérifications permettent de cerner les causes les plus fréquentes d’échec de l’inférence.

1

L’accès est refusé

Une requête ne peut pas aboutir si les identifiants, la référence du modèle ou les autorisations d’accès sont incorrects. Ne supposez pas qu’une erreur signifie que le modèle lui-même est indisponible.

Que faire à la place

Vérifiez la méthode d’accès configurée et la référence du modèle dans les instructions à jour. Renouvelez un secret divulgué au lieu de le réutiliser.

2

L’entrée est invalide

Baseten ne peut pas faire interpréter à un modèle des champs ou des médias qui ne correspondent pas au schéma documenté de ce modèle. Une requête réseau valide peut malgré tout contenir une charge utile inutilisable.

Que faire à la place

Réduisez la charge utile à un exemple documenté, vérifiez les noms des champs et les types de données, puis réintroduisez votre propre entrée élément par élément.

3

La réponse ne correspond pas à vos attentes

Les modèles peuvent renvoyer des structures différentes, et un appel réussi ne garantit pas la présence du champ attendu par votre code.

Que faire à la place

Inspectez la réponse complète, vérifiez la présence des champs obligatoires avant de les lire et gérez explicitement les valeurs manquantes ou inattendues.

4

Un appel lent ou en échec est difficile à expliquer

Ce tutoriel ne permet pas, à lui seul et côté client, de garantir un temps de réponse ni de déterminer la cause de chaque dépassement de délai.

Que faire à la place

Enregistrez la durée des requêtes et les détails non sensibles des erreurs, testez une entrée plus courte et consultez les recommandations opérationnelles actuelles du modèle.

conseils avancés

Une fois qu'un appel d'inférence Baseten fonctionne, adaptez ce même contrat vérifié à l'environnement dans lequel vous l'utiliserez.

Développeurs d'applications

Définir une interface stable pour les appels au modèle

Centralisez la construction des requêtes propres au modèle dans un module côté serveur. Validez les données entrantes de l'application avant de les convertir en charge utile pour le modèle, et renvoyez une erreur prévisible au niveau de l'application si l'inférence échoue. Vous pourrez ainsi changer de modèle ou modifier le mappage de ses requêtes sans disséminer d'hypothèses dans toute la base de code.

  • Conservez les identifiants dans une configuration protégée côté serveur.
  • Validez les entrées envoyées et les sorties reçues.
  • Testez la gestion des erreurs ainsi que les réponses réussies.

Évaluateurs de modèles

Comparez les résultats avec des entrées cohérentes

Constituez un petit ensemble de cas représentatifs, dont une entrée délicate ou à la limite des cas prévus. Notez le modèle et la configuration de requête ayant produit chaque résultat. Lorsque vous évaluez le comportement de l'inférence Baseten, comparez les résultats aux critères de votre tâche au lieu de considérer qu'un statut de réponse réussie est une mesure de qualité.

  • Utilisez des cas de test reproductibles.
  • Distinguez les critères d'évaluation des vérifications de transport.
  • Examinez les résultats inattendus avant d'automatiser les décisions.

Équipes d'exploitation

Rendre les échecs observables sans exposer les données

Déterminez quels détails non sensibles des requêtes sont utiles au débogage et évitez de stocker des identifiants ou des entrées privées dans les journaux courants. Suivez les catégories d'échecs et les durées de réponse dans le contexte de votre application. Vérifiez de nouveau l'intégration lorsque vous modifiez le modèle, la charge utile ou les paramètres de délai d'expiration côté application.

  • Distinguez les erreurs d’accès des erreurs liées à des entrées non valides.
  • Évitez de consigner des secrets ou des données sensibles.
  • Refaites les tests après toute modification de la configuration.

conseils avancés

Adoptez une approche fondée sur des requêtes vérifiées : choisissez un modèle, suivez ses instructions actuelles, testez une entrée simple et examinez le résultat avant de l’intégrer à une application. La destination peut avoir ses propres exigences d’accès et des consignes propres au modèle.

Passez à l’étape suivante avec l’inférence de modèles

  • Commencez par définir le format de requête propre au modèle.
  • Testez le traitement des résultats avant de passer à plus grande échelle.
  • Protégez vos identifiants et vos données sensibles.
Parcourir le catalogue de modèles de l’API d’inférence IA

FAQ du tutoriel

Choisissez un modèle auquel vous avez accès et lisez ses instructions d’inférence actuelles. Préparez une entrée minimale conforme à son schéma, envoyez une requête par l’interface prise en charge et examinez la réponse complète avant d’y connecter la logique de votre application.

Vérifiez la référence du modèle, la méthode d’accès requise et le format d’entrée documenté. Ne placez aucun identifiant dans le code côté client et utilisez un outil de requête qui vous permet d’examiner les erreurs comme les réponses réussies.

Commencez par déterminer s’il s’agit d’un problème d’accès, de données envoyées non valides ou de traitement de la réponse. Comparez la référence du modèle et les champs d’entrée aux instructions actuelles, puis réessayez avec l’entrée documentée la plus simple possible.

Examinez d’abord la réponse d’une requête de test réussie et repérez les champs dont votre application a réellement besoin. Validez ces champs avant de les utiliser, gérez les valeurs manquantes ou inattendues et regroupez l’analyse des réponses propre au modèle au même endroit pour faciliter sa mise à jour.

Documentation
Documentation