Présentation de la plateforme

Concrètement, que fait baseten pour les équipes d’IA ?

Service partenaire distinct : /go ouvre le catalogue du fournisseur pour l’inférence avec des modèles existants et l’accès à l’API, et non le déploiement personnalisé de Baseten ni un catalogue de grands modèles de langage. Connectez-vous et vérifiez sur place les tarifs et la disponibilité de chaque modèle.

Si vous vous demandez ce que fait baseten, la réponse courte est que Baseten fournit une infrastructure pour déployer et servir des modèles d’IA. La plateforme aide les équipes à transformer un modèle en service d’inférence utilisable par une application, sans qu’elles aient à construire elles-mêmes toute la couche de service.

Illustration de la page d’accueil de Baseten

Définition en une phrase

Baseten est une plateforme d’infrastructure d’IA qui permet d’utiliser des modèles dans des applications. Sa fonction centrale est le service de modèles : recevoir des requêtes, exécuter un modèle et renvoyer les résultats.

4 min de lecture

Fonctionnement

La mise à disposition d’un modèle relie un modèle existant au logiciel qui a besoin de ses prédictions ou de ses résultats générés. La configuration exacte dépend du modèle et de l’application.

  1. 1

    Préparer le modèle

    Une équipe choisit le modèle qu’elle souhaite utiliser et définit ses exigences en matière d’entrées et de sorties. Un modèle de texte, par exemple, nécessite un format de requête différent de celui d’un modèle d’image.

  2. 2

    Déployer un point de terminaison

    Le modèle est rendu accessible grâce à une infrastructure d’inférence. Cette infrastructure se charge des tâches opérationnelles liées à la réception des requêtes et à l’exécution du modèle déployé.

  3. 3

    Connecter l’application

    Le code de l’application envoie des données au point de terminaison et utilise le résultat renvoyé. L’équipe doit également tester la qualité des réponses, gérer les erreurs et vérifier que le résultat répond à ses besoins.

Ce que cela permet et ne permet pas de faire

Baseten peut fournir une couche de mise à disposition, mais mettre un modèle à disposition ne revient pas à le choisir, à l’évaluer ou à en assurer la gouvernance. Voici les exigences pratiques d’un projet d’inférence.

Obligatoire Facultatif
  • Une tâche définie et un modèle adapté à cette tâche — L’infrastructure ne permet pas de déterminer si un modèle fournit des réponses utiles ou fiables.

  • Des entrées et des sorties attendues que votre application peut gérer — L’application doit savoir quoi envoyer et comment utiliser ou rejeter une réponse.

  • Un plan pour tester la qualité, les défaillances et le traitement des données — Le déploiement ne remplace ni l’évaluation ni l’examen des informations sensibles.

  • Des fonctionnalités applicatives personnalisées autour du modèlefacultatif — Une interface utilisateur ou un processus métier peut être nécessaire, mais il est distinct de la mise à disposition du modèle pour l’inférence.

Qui l’utilise

Baseten s’adresse surtout aux équipes qui développent des logiciels faisant appel à des modèles d’IA, plutôt qu’aux personnes qui cherchent une application de chat ou de retouche d’images prête à l’emploi.

Illustration d’une infrastructure d’IA Développement de l’application

Étape 1

Développeurs d’applications

Un développeur peut avoir besoin d’un service backend qui reçoit une requête de l’application, appelle un modèle et renvoie un résultat à l’utilisateur. Baseten prend en charge la partie de ce processus consacrée à l’exécution du modèle. L’interface, les messages d’erreur et la décision de faire appel au modèle restent du ressort de l’équipe qui développe l’application.

  • Connecter le code de l’application à l’inférence du modèle
  • Définir ce qui se passe lorsqu’une requête échoue
Illustration d’un flux de travail de déploiement de modèle Exploitation des modèles

Étape 2

Équipes de machine learning et de plateforme

Ces équipes peuvent disposer d’un modèle qu’elles souhaitent mettre à la disposition d’autres services. Baseten leur propose une infrastructure à envisager pour le déploiement et l’inférence, mais elles restent responsables du choix du modèle, de la vérification de son comportement et de l’évaluation de sa conformité aux exigences de leur organisation. Cette répartition des responsabilités compte lorsqu’on passe d’une expérience prometteuse à une application fiable.

  • Mettre un modèle à la disposition d’autres services
  • Évaluer les résultats au regard de la tâche visée

Explorer l’infrastructure d’IA

Comprendre le rôle de Baseten peut vous aider à distinguer l’exécution du modèle du modèle lui-même et de l’application qui l’utilise. Si vous explorez les outils d’IA plus largement, le lien ci-dessous ouvre le service du fournisseur, un service distinct ; il ne mène pas à une console de déploiement Baseten.

Passez à l’étape suivante avec les outils d’IA

  • Déterminez la tâche que votre modèle doit accomplir
  • Vérifiez les capacités du service de destination avant de partager des données
Parcourir le catalogue de modèles du fournisseur

FAQ

Baseten fournit une infrastructure pour déployer et exécuter des modèles d’IA. Concrètement, elle aide les équipes à rendre un modèle accessible aux requêtes d’inférence de leurs applications.

L’exécution d’un modèle et le développement d’une application sont deux tâches distinctes. Baseten prend en charge l’infrastructure utilisée pour exécuter un modèle, tandis que l’équipe qui développe l’application décide de la façon dont les utilisateurs interagissent avec elle et dont ses résultats sont traités.

Non. Le déploiement permet l’inférence, mais la sortie du modèle doit encore être testée par rapport à la tâche prévue. Les équipes doivent évaluer la qualité, les cas d’échec et toute exigence relative au traitement des données.

Une application envoie une requête d’inférence contenant une entrée adaptée au modèle déployé. Le modèle produit une sortie que l’application peut ensuite traiter ou présenter à un utilisateur ; les entrées et sorties précises dépendent du modèle.

Documentation
Documentation