Tutorial de inferencia

Guía para desarrolladores sobre cómo usar la inferencia de baseten

Servicio independiente de un socio: /go abre el catálogo de la API de inferencia de IA para la inferencia con modelos existentes y el acceso a la API, no para los despliegues personalizados de Baseten ni para un catálogo de LLM. Inicia sesión y consulta allí los precios y la disponibilidad de cada modelo.

Si estás aprendiendo a usar la inferencia de baseten, empieza con un modelo al que tengas acceso y una entrada de prueba pequeña. Esta guía sigue la solicitud desde la preparación hasta la comprobación de la respuesta, sin dar por sentado el formato de entrada de ningún modelo en particular.

Imagen abstracta que representa un flujo de trabajo de inferencia de modelos

pasos numerados

Sigue esta secuencia con un modelo y una entrada representativa antes de conectar la inferencia a una aplicación más amplia.

  1. 1

    Elige el modelo

    Identifica el modelo que quieres utilizar y lee sus instrucciones actuales de entrada y salida. Un modelo de texto, uno de imágenes y uno de incrustaciones pueden requerir campos distintos en la solicitud.

  2. 2

    Envía una prueba pequeña

    Usa el método de acceso indicado para ese modelo, proporciona los datos mínimos válidos y mantén las credenciales fuera de los archivos de código fuente y del código expuesto en el navegador.

  3. 3

    Inspecciona el resultado

    Comprueba si la solicitud se completó correctamente y examina los datos devueltos antes de escribir código que dé por sentada una estructura determinada de la respuesta.

pasos numerados

Comprueba estos requisitos antes de tu primera solicitud de inferencia a Baseten; la documentación específica del modelo tiene prioridad sobre un ejemplo genérico.

Obligatorio Opcional
  • Identifica un modelo al que tengas acceso y consulta sus instrucciones de inferencia actuales. — Anota el identificador o endpoint del modelo exactamente como se indica para el modelo elegido.

  • Prepara el método de autenticación requerido por el servicio al que vas a llamar. — Guarda cualquier secreto fuera del código confirmado en el repositorio y de las aplicaciones del lado del cliente.

  • Crea una entrada que siga el esquema documentado del modelo. — Usa un ejemplo pequeño y representativo en lugar de un lote completo.

  • Elige una herramienta que pueda enviar una solicitud y mostrar la respuesta completa. — Un cliente de API o un breve script del lado del servidor puede ayudarte a examinar el estado y los campos devueltos.

  • Prepara una segunda entrada para compararla después de que funcione la primera solicitud.opcional — Un ejemplo contrastante puede revelar suposiciones en el código que procesa la respuesta.

pasos numerados

La primera solicitud correcta debe demostrar que el modelo, la entrada y el código que procesa la respuesta son compatibles, no solo que existe una conexión.

1

Confirma el formato de la solicitud

Consulta las instrucciones del modelo específico que seleccionaste. Identifica dónde va la entrada, qué campos son obligatorios y qué tipo de salida se espera. No copies la carga útil de otro modelo solo porque también se ejecuta en Baseten: usar el mismo método de transporte no implica que las entradas de los modelos sean iguales. Guarda un breve registro local del modelo y la carga útil que probaste para facilitar el seguimiento de cambios posteriores.

2

Haz una llamada controlada

Envía una entrada mínima y válida mediante la interfaz admitida para ese modelo. Haz que la primera prueba de inferencia en Baseten sea deliberadamente pequeña: una muestra de texto breve para una tarea de texto, o un recurso preparado adecuadamente para un modelo que acepte otros medios. Registra el estado de la solicitud y cualquier mensaje de error sin registrar datos secretos. Si la llamada falla, cambia una variable a la vez en lugar de rehacer toda la integración.

3

Revisa la salida antes de usarla

Inspecciona toda la estructura devuelta, no solo el campo que esperabas recibir. Comprueba que la salida corresponda a tu entrada y que tu aplicación pueda manejar de forma segura los resultados vacíos o inesperados. Solo después de esta comprobación debes adaptar la respuesta a tus propios tipos o a la interfaz de usuario. Repite la prueba con una segunda entrada para detectar suposiciones codificadas de forma rígida.

Errores comunes y soluciones

Una guía general no puede diagnosticar todos los modelos, pero estas comprobaciones ayudan a acotar las causas más comunes de los fallos de inferencia.

1

Se rechaza el acceso

Una solicitud no puede completarse si las credenciales, la referencia del modelo o los permisos de acceso son incorrectos. No supongas que un error demuestra que el modelo no está disponible.

Qué hacer en su lugar

Comprueba el método de acceso configurado y la referencia del modelo según sus instrucciones actuales. Si se ha expuesto un dato secreto, sustitúyelo en lugar de volver a usarlo.

2

La entrada no es válida

Baseten no puede hacer que un modelo interprete campos o medios que no se ajusten al esquema documentado de ese modelo. Una solicitud de red válida puede contener una carga útil inutilizable.

Qué hacer en su lugar

Reduce la carga útil a un ejemplo documentado, confirma los nombres de los campos y los tipos de datos y, después, vuelve a incorporar tu propia entrada parte por parte.

3

La respuesta no coincide con lo esperado

Cada modelo puede devolver una estructura distinta, y una llamada completada correctamente no garantiza que esté presente el campo que espera tu código.

Qué hacer en su lugar

Inspecciona la respuesta completa, valida los campos obligatorios antes de leerlos y gestiona explícitamente los valores ausentes o inesperados.

4

Una llamada lenta o fallida es difícil de explicar

Este tutorial no puede garantizar un tiempo de respuesta ni identificar la causa de todos los tiempos de espera agotados únicamente desde el cliente.

Qué hacer en su lugar

Registra el tiempo de la solicitud y los detalles no sensibles de los errores, prueba con una entrada más pequeña y consulta las recomendaciones operativas actuales del modelo.

consejos avanzados

Una vez que funcione una llamada de inferencia a Baseten, adapta el mismo contrato verificado al entorno donde vayas a usarlo.

Desarrolladores de aplicaciones

Establece un límite estable para las llamadas al modelo

Mantén la construcción de solicitudes específicas del modelo en un único módulo del lado del servidor. Valida los datos entrantes de la aplicación antes de convertirlos en la carga útil del modelo y devuelve un error predecible a nivel de aplicación cuando falle la inferencia. Así podrás cambiar un modelo o la correspondencia de sus solicitudes sin dispersar supuestos por todo el código.

  • Guarda las credenciales en una configuración protegida del lado del servidor.
  • Valida tanto la entrada enviada como la salida recibida.
  • Prueba la gestión de errores además de las respuestas correctas.

Evaluadores de modelos

Compara las salidas con entradas uniformes

Prepara un pequeño conjunto de casos representativos, incluida una entrada difícil o límite. Registra qué modelo y qué configuración de solicitud produjeron cada resultado. Al evaluar el comportamiento de inferencia de Baseten, compara las salidas con los criterios de tu tarea en lugar de considerar que un estado de respuesta correcto equivale a una puntuación de calidad.

  • Usa casos de prueba reproducibles.
  • Mantén los criterios de evaluación separados de las comprobaciones de transporte.
  • Revisa las salidas inesperadas antes de automatizar decisiones.

Equipos de operaciones

Haz que los fallos sean observables sin exponer datos

Decide qué detalles no sensibles de las solicitudes son útiles para depurar y evita almacenar credenciales o entradas privadas en los registros habituales. Haz seguimiento de las categorías de fallos y los tiempos de respuesta en el contexto de tu aplicación. Vuelve a comprobar la integración cuando cambies el modelo, la carga útil o la configuración de tiempo de espera de la aplicación.

  • Separa los errores de acceso de los errores por entradas no válidas.
  • Evita registrar secretos o datos confidenciales de las solicitudes.
  • Vuelve a probar después de cambiar la configuración.

Consejos avanzados

Usa el enfoque de solicitud verificada: elige un modelo, sigue sus instrucciones actuales, prueba con una entrada pequeña e inspecciona el resultado antes de integrarlo en una aplicación. El destino puede tener sus propios requisitos de acceso e indicaciones específicas del modelo.

Da el siguiente paso con la inferencia de modelos

  • Empieza con las especificaciones de solicitud de un modelo concreto.
  • Prueba cómo se procesan los resultados antes de ampliar el uso.
  • Protege las credenciales y las entradas confidenciales.
Explora el catálogo de modelos de la API de inferencia de IA

Preguntas frecuentes del tutorial

Elige un modelo al que tengas acceso y lee sus instrucciones actuales de inferencia. Prepara una entrada mínima que se ajuste a su esquema, envía una solicitud mediante la interfaz admitida e inspecciona la respuesta completa antes de conectar la lógica de la aplicación.

Confirma la referencia del modelo, el método de acceso requerido y el formato de entrada documentado. No incluyas credenciales en el código del lado del cliente y usa una herramienta de solicitudes que te permita inspeccionar tanto los errores como los resultados correctos.

Empieza por distinguir si se trata de un problema de acceso, de datos de solicitud no válidos o de un problema al procesar la respuesta. Compara la referencia del modelo y los campos de entrada con las instrucciones actuales y, después, vuelve a intentarlo con la entrada documentada más pequeña que puedas usar.

Primero, inspecciona la respuesta de una solicitud de prueba que funcione e identifica los campos que tu aplicación realmente necesita. Valida esos campos antes de usarlos, gestiona los valores ausentes o inesperados y mantén el análisis de respuestas específico de cada modelo en un solo lugar para poder actualizarlo.

Documentación
Documentación