| Punto de partida |
Comienza por identificar el modelo que quieres poner a disposición y el comportamiento de despliegue que necesita tu aplicación.
|
Comienza por identificar qué modelo disponible produce resultados aceptables para tu aplicación.
|
| Selección del modelo |
Comprueba que el modelo, los pesos y la configuración de servicio que has elegido sean compatibles con el despliegue previsto.
|
Consulta el catálogo actual de modelos alojados y confirma que el modelo y la versión exactos que probaste siguen siendo adecuados.
|
| Integración de la API |
Adapta el esquema de solicitudes, el procesamiento de respuestas, la autenticación y la gestión de errores al endpoint que despliegues.
|
Adapta esos mismos comportamientos de la aplicación al endpoint del modelo alojado seleccionado; no des por sentado que los formatos de las solicitudes son intercambiables.
|
| Pruebas de rendimiento |
Evalúa el rendimiento del modelo desplegado con tamaños de prompt, longitudes de salida y niveles de concurrencia representativos, y una latencia máxima aceptable.
|
Evalúa el rendimiento del modelo seleccionado con las mismas entradas y el mismo perfil de tráfico; un modelo diferente puede cambiar tanto la velocidad como la calidad de los resultados.
|
| Calidad de los resultados |
Mantén fijos el modelo y el conjunto de evaluación al probar el comportamiento de la infraestructura de servicio, para que los cambios en la infraestructura no oculten diferencias de calidad.
|
Si comparas otro modelo alojado, evalúa sus respuestas por separado en lugar de atribuir las diferencias entre modelos a la plataforma.
|
| Operaciones |
Verifica las actualizaciones de despliegue, la supervisión, la gestión de fallos y los procedimientos de reversión según el proceso de producción de tu equipo.
|
Verifica la supervisión disponible, los controles de cambios de versión, la gestión de fallos y el soporte para tu proceso de producción.
|
| Evaluación de costos |
Estima el gasto según tu carga de trabajo real y las condiciones vigentes para la configuración de despliegue que necesitas.
|
Estima el gasto para el modelo concreto, la combinación de solicitudes y las condiciones vigentes que utilizarías; evita comparar cargas de trabajo diferentes.
|
| Revisión de datos |
Consulta la documentación y los acuerdos vigentes sobre el tratamiento y la conservación de datos, así como cualquier control que exija tu organización.
|
Realiza la misma revisión para el servicio y el modelo seleccionados; no supongas que las políticas son idénticas porque las API sean similares.
|