Baseten s’adresse aux équipes qui déploient des modèles d’IA pour l’inférence. Pour établir une estimation utile des coûts, partez du modèle, de la configuration de déploiement et du trafic attendu, plutôt que d’un prix affiché isolé.
Avant de comparer les coûts, déterminez ce que vous devez déployer et comment les utilisateurs s’en serviront. Ces points de départ soulèvent des questions différentes.
Vous prévoyez une demande irrégulière. Notez le trafic de pointe probable et le temps de réponse dont votre application a besoin avant de choisir un déploiement.
Une fourchette de trafic vous donne une base pour comparer la capacité à l’utilisation.
Vous avez un modèle prêt à être mis en service. Notez sa taille, ses besoins matériels et le nombre de requêtes attendu avant de tester un processus d’inférence.
Une charge de travail définie permet de mieux évaluer les estimations de déploiement.
Vous devez distinguer une offre de lancement d’un budget d’exploitation récurrent. Vérifiez directement les conditions d’éligibilité et les modalités en vigueur.
Un plan qui ne dépend pas d’un crédit temporaire est plus facile à maintenir.
Vous évaluez un déploiement en production. Tenez compte des exigences de sécurité et de traitement des données lorsque vous comparez les options de déploiement.
Une architecture approuvée évite de fonder votre estimation sur une option que votre équipe ne peut pas utiliser.
Étudiez un déploiement représentatif plutôt que d’appliquer un tarif générique à tous les modèles.
Supposons que votre équipe mette un modèle de texte à disposition d’une application. Notez le modèle, la taille moyenne des entrées et des sorties, le nombre de requêtes attendu, les périodes de pointe et la latence acceptable. Distinguez les estimations du trafic mesuré.
Déterminez le matériel et la capacité dont le modèle pourrait avoir besoin, puis consultez la documentation ou les informations commerciales actuelles de Baseten pour connaître la configuration et les conditions de facturation correspondantes. N’utilisez pas les tarifs d’un autre fournisseur.
Calculez des scénarios d’utilisation faible, attendue et de pointe à l’aide des tarifs actuels applicables. Testez une charge de travail représentative, comparez la capacité observée à vos hypothèses et révisez l’estimation avant de l’utiliser comme budget.
Une comparaison des coûts n’est utile que si les options sont évaluées sur la même charge de travail. Ces raccourcis courants laissent des colonnes importantes vides.
Ce guide ne peut pas fournir un tarif fiable unique pour tous les déploiements Baseten. Les besoins du modèle, la capacité, l’utilisation et les conditions commerciales en vigueur peuvent varier.
Que faire à la place
Comparez les configurations candidates à partir des mêmes hypothèses de trafic et de latence, en utilisant les informations actuelles du fournisseur.
Le nombre de requêtes ne suffit pas à établir une facture mensuelle si le déploiement nécessite une capacité disponible entre les requêtes ou entraîne d’autres frais applicables.
Que faire à la place
Consignez l’utilisation et la durée de fonctionnement, puis confirmez le mode de facturation de l’option choisie.
Une offre temporaire, si elle est disponible, ne détermine pas le coût récurrent d’une utilisation en production.
Que faire à la place
Établissez l’estimation des coûts récurrents sans tenir compte de l’offre, et traitez séparément toute offre à laquelle vous êtes admissible.
Changez de perspective pour repérer les hypothèses susceptibles de rendre peu fiable une estimation pourtant bien présentée.
Ingénierie
Deux déploiements du même modèle peuvent avoir des besoins en capacité différents. Un test de performance fondé sur des requêtes courtes et un trafic régulier peut ne pas être représentatif de sorties longues ou de pics soudains.
Finance
Une estimation peut ne pas tenir compte de la capacité inutilisée, des variations du trafic ou des conditions propres à un accord particulier. Dans le budget, distinguez les modalités de facturation confirmées des hypothèses.
Exploitation
Une moyenne mensuelle peut sembler abordable, alors qu’un bref pic exige davantage de capacité pour respecter l’objectif de latence de l’application. Tenez compte des exigences de service ainsi que des dépenses prévues.
Hypothèses de départ
Étape 1
Regroupez la version du modèle, la forme des requêtes, les prévisions de trafic et l’objectif de latence. Ces informations permettent d’expliquer pourquoi une configuration Baseten a été choisie et ce qui justifierait une nouvelle estimation.
Validation
Étape 2
Après un test représentatif, remplacez, dans la mesure du possible, les suppositions par des mesures de débit et des données sur les habitudes d’exploitation. Si la charge de travail ou le déploiement change, refaites le calcul au lieu de reprendre un ancien chiffre.
La destination propose une plateforme d’IA distincte, et non un devis officiel de Baseten. Précisez les exigences de votre modèle et l’utilisation prévue, puis vérifiez les conditions en vigueur sur le site de destination avant de vous engager.
La tarification applicable dépend du service et du mode de déploiement choisis. Consultez les informations actuellement publiées par Baseten ou contactez son équipe pour connaître les tarifs et les conditions de facturation correspondant à votre charge de travail ; ce guide ne présente aucun tarif en vigueur.
Ne supposez pas qu’une même unité de facturation s’applique à toutes les options. Vérifiez l’unité utilisée, les éventuels minimums et la façon dont la durée de fonctionnement ou l’utilisation est mesurée pour l’option que vous étudiez.
Commencez par définir le modèle et sa configuration, le trafic attendu, la taille des requêtes, les pics de demande et l’objectif de latence. Associez ces hypothèses aux tarifs actuellement applicables, puis vérifiez par des tests que la capacité choisie peut traiter des requêtes représentatives.
Le trafic et la durée de fonctionnement peuvent différer des prévisions, et une autre configuration peut être nécessaire pour atteindre les objectifs de performance. Consignez les hypothèses qui sous-tendent votre estimation et comparez-les à l’utilisation mesurée ainsi qu’aux conditions de facturation réelles.