Comment évaluer les tarifs de baseten pour votre charge de travail

Service partenaire distinct : /go ouvre le catalogue de l’API de modèles pour l’inférence sur des modèles existants et l’accès aux API, et non pour le déploiement personnalisé de Baseten ou un catalogue de LLM. Connectez-vous pour vérifier les tarifs et la disponibilité de chaque modèle.

Baseten s’adresse aux équipes qui déploient des modèles d’IA pour l’inférence. Une estimation utile des coûts commence par le modèle, la configuration du déploiement et le trafic attendu, et non par un prix unique mis en avant.

Illustration d’une infrastructure cloud aux couleurs de Baseten

prérequis

Avant de comparer les coûts, déterminez ce que vous devez déployer et comment les utilisateurs s’en serviront. Ces points de départ soulèvent des questions différentes.

Équipe produit

Vous prévoyez une demande irrégulière. Notez les pics de trafic probables et le temps de réponse requis par votre application avant de choisir un déploiement.

Une fourchette de trafic vous donne une base pour comparer la capacité à l’utilisation.

baseten en ligne

Ingénieur ML

Vous avez un modèle prêt à être mis en service. Notez sa taille, ses besoins matériels et le nombre de requêtes attendu avant de tester un processus d’inférence.

Une charge de travail définie permet d’examiner plus facilement les estimations de déploiement.

comment utiliser l’inférence de baseten

Responsable du budget

Vous devez distinguer une offre de lancement d’un budget d’exploitation récurrent. Vérifiez directement les conditions d’éligibilité et les modalités en vigueur.

Un budget qui ne dépend pas d’une allocation temporaire est plus facile à maintenir.

crédits gratuits de baseten

Responsable de l’évaluation de la sécurité

Vous évaluez un déploiement en production. Tenez compte des exigences de sécurité et de traitement des données lorsque vous comparez les options de déploiement.

Une architecture approuvée évite d’établir une estimation trompeuse pour une option que votre équipe ne peut pas utiliser.

quel est le niveau de sécurité de baseten

un parcours complet

Étudiez un déploiement représentatif plutôt que d’appliquer un tarif générique à chaque modèle.

  1. 1

    Définissez la charge de travail

    Supposons que votre équipe mette un modèle de texte à disposition d’une application. Notez le modèle, la taille moyenne des entrées et des sorties, le nombre de requêtes attendu, les périodes de pointe et la latence acceptable. Distinguez les estimations du trafic mesuré.

  2. 2

    Choisissez une configuration de déploiement

    Déterminez le matériel et la capacité dont le modèle pourrait avoir besoin, puis consultez la documentation actuelle de Baseten ou les informations commerciales pour connaître la configuration et les conditions de facturation correspondantes. N’utilisez pas les tarifs d’un autre fournisseur.

  3. 3

    Estimez et testez

    Calculez des scénarios d’utilisation faible, prévue et de pointe à partir des tarifs en vigueur applicables. Testez une charge de travail représentative, comparez la capacité observée à vos hypothèses et révisez l’estimation avant de l’utiliser comme budget.

tableau des options

Une comparaison des coûts n’est utile que si les options sont évaluées sur la même charge de travail. Ces raccourcis courants laissent des colonnes importantes vides.

1

Comparaison fondée sur un prix unique

Ce guide ne peut pas fournir un tarif unique fiable pour tous les déploiements Baseten. Les exigences du modèle, la capacité, l’utilisation et les conditions commerciales en vigueur peuvent varier.

Que faire à la place

Comparez les configurations envisagées à partir des mêmes hypothèses de trafic et de latence, en utilisant les informations actuelles du fournisseur.

2

Total mensuel non vérifié

Le seul nombre de requêtes ne suffit pas à établir une facture mensuelle si le déploiement nécessite une capacité disponible entre les requêtes ou entraîne d’autres frais applicables.

Que faire à la place

Consignez à la fois l’utilisation et la durée de fonctionnement, puis vérifiez le mode de facturation de l’option choisie.

3

Offre de lancement comme référence

Une offre temporaire, si elle est disponible, ne permet pas d’établir le coût récurrent d’une utilisation en production.

Que faire à la place

Établissez l’estimation des coûts récurrents sans tenir compte d’une offre, et comptabilisez séparément toute offre à laquelle vous êtes éligible.

ce qui ne fonctionne pas

Changez de point de vue pour repérer les hypothèses qui peuvent rendre une estimation peu fiable malgré sa présentation soignée.

Ingénierie

Un nom de modèle n’est pas une spécification de déploiement

Deux déploiements d’un même modèle peuvent avoir des besoins de capacité différents. Un test de performance fondé sur des requêtes courtes et un trafic régulier peut ne pas représenter des sorties longues ou des pics soudains.

  • Testez des entrées et des sorties représentatives.
  • Mesurez la latence et le débit sous une charge réaliste.
  • Réexaminez la configuration si le modèle change.

Finance

Une prévision n’est pas une facture

Une estimation peut ne pas tenir compte de la capacité inutilisée, des variations de trafic ou des conditions propres à un accord particulier. Dans le budget, distinguez les informations de facturation confirmées des hypothèses.

  • Prévoyez des scénarios bas, attendu et de pointe.
  • Indiquez la date des tarifs utilisés dans le calcul.
  • Comparez l’utilisation réelle aux prévisions.

Opérations

La demande moyenne peut masquer la demande de pointe

Une moyenne mensuelle peut sembler abordable alors qu’un bref pic nécessite davantage de capacité pour respecter l’objectif de latence de l’application. Tenez compte des exigences de service en plus des dépenses prévues.

  • Repérez les périodes de forte activité.
  • Fixez un objectif de temps de réponse acceptable.
  • Testez le comportement du déploiement à la charge de pointe.

Rendez l’estimation vérifiable

Illustration accompagnant la planification du déploiement d’un modèle Hypothèses de départ

Étape 1

Commencez par consigner la charge de travail

Regroupez la version du modèle, la structure des requêtes, les prévisions de trafic et l’objectif de latence. Ces informations permettent d’expliquer pourquoi une configuration Baseten a été choisie et ce qui justifierait une nouvelle estimation.

    Illustration accompagnant l’évaluation des performances d’inférence Validation

    Étape 2

    Comparer les prévisions aux observations

    Après un test représentatif, remplacez autant que possible les estimations par le débit mesuré et les habitudes d’utilisation observées. Si la charge de travail ou le déploiement change, actualisez le calcul au lieu de reprendre un ancien chiffre.

      Passer à l’étape suivante

      La destination propose une plateforme d’IA distincte, et non un devis officiel de Baseten. Préparez les exigences de votre modèle et votre utilisation prévue, puis vérifiez les conditions en vigueur sur le site de destination avant de vous engager.

      Explorer une charge de travail d’IA à partir d’hypothèses réalistes

      • Définir d’abord la charge de travail
      • Vérifier directement les conditions en vigueur
      • Tester avant de prévoir un déploiement à grande échelle
      Parcourir le catalogue de modèles de l’API de modèles

      sa propre FAQ

      La tarification applicable dépend du service et des modalités de déploiement que vous choisissez. Consultez les informations actuellement publiées par Baseten ou contactez son équipe pour connaître les tarifs et les modalités de facturation correspondant à votre charge de travail ; ce guide ne présente aucun tarif en vigueur.

      Ne supposez pas qu’une même unité de facturation s’applique à toutes les options. Vérifiez l’unité utilisée, les éventuels minimums et la façon dont la durée de fonctionnement ou l’utilisation est mesurée pour la formule que vous envisagez.

      Commencez par définir le modèle et sa configuration, le trafic attendu, la taille des requêtes, les pics de demande et l’objectif de latence. Combinez ces hypothèses avec les tarifs en vigueur applicables, puis vérifiez par des tests que la capacité choisie prend en charge des requêtes représentatives.

      Le trafic et la durée de fonctionnement peuvent différer des prévisions, et une autre configuration peut être nécessaire pour atteindre les objectifs de performance. Consignez les hypothèses sur lesquelles repose votre estimation et comparez-les à l’utilisation mesurée et aux conditions de facturation réelles.

      Documentation
      Documentation