Baseten
Un choix ciblé lorsque le livrable est un endpoint de modèle fiable.
Convient bien
- Place le comportement du déploiement et de l’inférence au cœur de l’évaluation.
- Permet naturellement d’évaluer le service selon la validité des réponses, la latence et la disponibilité.
- Fournit un cadre clair pour comparer deux configurations de service de modèle.
Compromis
- Une comparaison favorable des résultats prouve peu de choses si l’autre plateforme utilise des poids ou des prompts différents.
- Le prétraitement, la tokenisation et les paramètres de génération doivent tout de même être vérifiés indépendamment.