baseten
Essayer un prompt
Français

Vue d’ensemble de la plateforme

Concrètement, que fait baseten pour les équipes d’IA ?

Si vous vous demandez ce que fait baseten, la réponse courte est que Baseten fournit une infrastructure pour déployer des modèles d’IA et les rendre accessibles. La plateforme aide les équipes à transformer un modèle en service d’inférence utilisable par une application, sans qu’elles aient à construire elles-mêmes toute l’infrastructure nécessaire.

Explorer les outils d’IA
Illustration de la page d’accueil de Baseten

Définition en une phrase

Baseten est une plateforme d’infrastructure d’IA conçue pour mettre les modèles au service des applications. Sa fonction principale est de recevoir des requêtes, d’exécuter un modèle et de renvoyer les résultats.

4 min de lecture

À lire aussi

Cette définition n’est qu’un point de départ. Ces guides expliquent où accéder à la plateforme, comment aborder un processus d’inférence et ce qu’il faut évaluer avant d’envoyer des données.

Comment ça marche

La mise à disposition d’un modèle relie un modèle existant aux logiciels qui ont besoin de ses prédictions ou du contenu qu’il génère. La configuration exacte dépend du modèle et de l’application.

  1. 1

    Préparer le modèle

    Une équipe choisit le modèle qu’elle souhaite exécuter et définit les exigences relatives à ses entrées et à ses sorties. Un modèle de texte, par exemple, nécessite un format de requête différent de celui d’un modèle d’image.

  2. 2

    Déployer un point de terminaison d’inférence

    Le modèle est rendu accessible au moyen d’une infrastructure d’inférence. Cette infrastructure se charge des opérations nécessaires pour recevoir les requêtes et exécuter le modèle déployé.

  3. 3

    Connecter l’application

    Le code de l’application envoie des entrées au point de terminaison et utilise la sortie renvoyée. L’équipe doit encore tester la qualité des réponses, gérer les erreurs et vérifier que les résultats répondent à ses besoins.

Ce que cela permet ou ne permet pas de faire

Baseten peut fournir une couche de mise à disposition des modèles, mais mettre un modèle à disposition ne revient pas à le choisir, à l’évaluer ou à en encadrer l’utilisation. Voici les exigences pratiques associées à un projet d’inférence.

Obligatoire Facultatif

  • Une tâche définie et un modèle adapté à cette tâche — L’infrastructure ne permet pas de déterminer si un modèle fournit des réponses utiles ou fiables.

  • Des entrées et des sorties attendues que votre application peut gérer — L’application doit savoir quoi envoyer et comment utiliser ou rejeter une réponse.

  • Un plan pour tester la qualité, les défaillances et le traitement des données — Le déploiement ne remplace ni l’évaluation ni l’examen des informations sensibles.

  • Des fonctionnalités applicatives personnalisées autour du modèlefacultatif — Une interface utilisateur ou un processus métier peut être nécessaire, mais cela reste distinct de la mise à disposition du modèle pour l’inférence.

À qui cela s’adresse

Baseten s’adresse surtout aux équipes qui développent des logiciels faisant appel à des modèles d’IA, plutôt qu’aux personnes à la recherche d’une application de chat ou de retouche d’images prête à l’emploi.

Illustration d’une infrastructure d’IA Travail sur l’application

Étape 1

Développeurs d’applications

Un développeur peut avoir besoin d’un service backend qui reçoit une requête de l’application, appelle un modèle et renvoie un résultat à l’utilisateur. Baseten prend en charge la partie de ce processus consacrée à l’exécution du modèle. L’interface, les messages d’erreur et la décision du moment où appeler le modèle restent du ressort de l’équipe chargée de l’application.

  • Connecter le code de l’application à l’inférence du modèle
  • Définir ce qui se passe lorsqu’une requête échoue
Illustration d’un processus de déploiement de modèle Exploitation des modèles

Étape 2

Équipes de machine learning et de plateforme

Ces équipes peuvent disposer d’un modèle qu’elles souhaitent mettre à la disposition d’autres services. Baseten leur fournit une infrastructure à envisager pour le déploiement et l’inférence, mais elles restent responsables du choix du modèle, de la vérification de son comportement et de la décision de savoir s’il répond aux exigences de leur organisation. Cette répartition des responsabilités est importante pour passer d’une expérience prometteuse à une application fiable.

  • Mettre un modèle à la disposition d’autres services
  • Évaluer les résultats en fonction de la tâche visée

Explorer l’infrastructure d’IA

Comprendre ce que fait Baseten peut vous aider à distinguer l’exécution du modèle du modèle lui-même et de l’application qui l’utilise. Si vous explorez les outils d’IA plus largement, le lien ci-dessous ouvre Synexa, un service distinct ; il ne s’agit pas d’une console de déploiement Baseten.

Passer à l’étape suivante avec les outils d’IA

  • Définir la tâche que votre modèle doit accomplir
  • Vérifier les capacités du service de destination avant de partager des données
Explorer les outils d’IA

FAQ

Baseten fournit une infrastructure pour déployer et exécuter des modèles d’IA. Concrètement, elle aide les équipes à rendre un modèle accessible aux requêtes d’inférence de leurs applications.

L’exécution d’un modèle et le développement d’une application sont deux tâches distinctes. Baseten prend en charge l’infrastructure utilisée pour exécuter un modèle, tandis que l’équipe qui développe l’application décide de la façon dont les utilisateurs interagissent avec elle et dont les résultats du modèle sont traités.

Non. Le déploiement permet l’inférence, mais les résultats du modèle doivent encore être testés en fonction de la tâche visée. Les équipes doivent évaluer leur qualité, les cas d’échec et toute exigence liée au traitement des données.

Une application envoie une requête d’inférence contenant des données d’entrée adaptées au modèle déployé. Le modèle produit un résultat que l’application peut ensuite traiter ou afficher à un utilisateur ; les données d’entrée et le résultat précis dépendent du modèle.

Essayer un prompt
Essayer un prompt