| Point de départ |
Commencez par identifier le modèle que vous souhaitez mettre à disposition et le comportement de déploiement dont votre application a besoin.
|
Commencez par déterminer quel modèle disponible produit des résultats acceptables pour votre application.
|
| Choix du modèle |
Vérifiez que le modèle, les poids et la configuration de service que vous avez choisis sont pris en charge pour le déploiement prévu.
|
Consultez le catalogue actuel des modèles hébergés et vérifiez que le modèle et la version exacts que vous avez testés restent adaptés.
|
| Intégration de l’API |
Adaptez le schéma de vos requêtes, l’analyse des réponses, l’authentification et la gestion des erreurs au point de terminaison que vous déployez.
|
Adaptez ces mêmes comportements applicatifs au point de terminaison du modèle hébergé sélectionné ; ne supposez pas que les charges utiles sont interchangeables.
|
| Tests de performance |
Évaluez les performances du modèle déployé avec des tailles de prompts et des longueurs de sortie représentatives, une concurrence réaliste et une latence maximale acceptable.
|
Évaluez les performances du modèle sélectionné avec les mêmes entrées et le même profil de trafic ; un modèle différent peut modifier à la fois la vitesse et la qualité des réponses.
|
| Qualité des réponses |
Gardez le modèle et le jeu d’évaluation identiques lorsque vous testez le comportement du service, afin que les changements d’infrastructure ne masquent pas les différences de qualité.
|
Si vous comparez un autre modèle hébergé, évaluez ses réponses séparément plutôt que d’attribuer à la plateforme les différences entre modèles.
|
| Exploitation |
Vérifiez les mises à jour des déploiements, la surveillance, la gestion des défaillances et les procédures de retour arrière au regard du processus de production de votre équipe.
|
Vérifiez les capacités de surveillance disponibles, les contrôles des changements de version, la gestion des défaillances et le support nécessaires à votre processus de production.
|
| Évaluation des coûts |
Estimez les dépenses à partir de votre charge de travail réelle et des conditions en vigueur pour la configuration de déploiement dont vous avez besoin.
|
Estimez les dépenses pour le modèle précis, la répartition des requêtes et les conditions en vigueur que vous utiliseriez ; évitez de comparer des charges de travail différentes.
|
| Examen des données |
Consultez la documentation et les accords en vigueur concernant le traitement et la conservation des données, ainsi que les contrôles exigés par votre organisation.
|
Effectuez le même examen pour le service et le modèle sélectionnés ; ne déduisez pas de politiques identiques de la similitude des API.
|