Descripción general de la plataforma

En la práctica, ¿qué hace baseten por los equipos de IA?

Servicio de un socio independiente: /go abre el catálogo de la API de inferencia de IA para acceder a la inferencia y las API de modelos existentes, no al despliegue personalizado de Baseten ni a un catálogo de LLM. Inicia sesión y consulta allí los precios y la disponibilidad de cada modelo.

Si te preguntas qué hace baseten, la respuesta breve es que Baseten proporciona infraestructura para desplegar modelos de IA y atender solicitudes de inferencia. Ayuda a los equipos a convertir un modelo en un servicio de inferencia al que puedan acceder las aplicaciones, sin tener que construir por completo la capa que atiende las solicitudes.

Ilustración de la página de inicio de Baseten

Definición en una frase

Baseten es una plataforma de infraestructura de IA centrada en poner los modelos a trabajar en las aplicaciones. Su función principal es atender solicitudes de inferencia: recibirlas, ejecutar un modelo y devolver los resultados.

4 min de lectura

Cómo funciona

Servir un modelo conecta un modelo existente con el software que necesita sus predicciones o resultados generados. La configuración exacta depende del modelo y de la aplicación.

  1. 1

    Preparar el modelo

    Un equipo elige el modelo que quiere ejecutar y determina sus requisitos de entrada y salida. Un modelo de texto, por ejemplo, necesita un formato de solicitud distinto al de un modelo de imágenes.

  2. 2

    Desplegar un punto de conexión para servir el modelo

    El modelo se pone a disposición mediante una infraestructura de inferencia. Esa infraestructura se encarga de la tarea operativa de aceptar solicitudes y ejecutar el modelo desplegado.

  3. 3

    Conectar la aplicación

    El código de la aplicación envía entradas al punto de conexión y utiliza los resultados devueltos. El equipo también debe probar la calidad de las respuestas, gestionar los errores y supervisar si los resultados satisfacen sus necesidades.

Qué puede y qué no puede hacer

Baseten puede proporcionar una capa para servir modelos, pero servir un modelo no es lo mismo que elegirlo, evaluarlo o establecer su gobernanza. Estos son los requisitos prácticos de un proyecto de inferencia.

Obligatorio Opcional
  • Una tarea definida y un modelo adecuado para ella — La infraestructura no determina si un modelo ofrece respuestas útiles o fiables.

  • Entradas y salidas esperadas que su aplicación pueda gestionar — La aplicación debe saber qué enviar y cómo utilizar o descartar una respuesta.

  • Un plan para evaluar la calidad, los fallos y el tratamiento de los datos — El despliegue no sustituye la evaluación ni la revisión de la información sensible.

  • Funciones personalizadas de la aplicación en torno al modeloopcional — Puede que se necesite una interfaz de usuario o un flujo de trabajo empresarial, pero son independientes del servicio de inferencia.

Quién lo utiliza

Baseten es más relevante para los equipos que desarrollan software que utiliza modelos de IA que para quienes buscan una aplicación de chat o edición de imágenes ya terminada.

Ilustración de infraestructura de IA Desarrollo de aplicaciones

Paso 1

Desarrolladores de aplicaciones

Un desarrollador puede necesitar un servicio backend que reciba una solicitud de la aplicación, llame a un modelo y devuelva un resultado al usuario. Baseten se ocupa de la parte de ese proceso que consiste en servir el modelo. La interfaz, los mensajes de error y la decisión de cuándo llamar al modelo siguen siendo responsabilidad de quienes desarrollan la aplicación.

  • Conectar el código de la aplicación con la inferencia del modelo
  • Diseñar qué ocurre cuando falla una solicitud
Ilustración de un flujo de trabajo de despliegue de modelos Operaciones de modelos

Paso 2

Equipos de aprendizaje automático y de plataforma

Estos equipos pueden tener un modelo que quieren poner a disposición de otros servicios. Baseten les ofrece infraestructura que pueden considerar para el despliegue y la inferencia, mientras que ellos siguen siendo responsables de seleccionar el modelo, comprobar su comportamiento y decidir si cumple los requisitos de su organización. Esta división de responsabilidades importa al pasar de un experimento prometedor a una aplicación fiable.

  • Poner un modelo a disposición de otros servicios
  • Evaluar los resultados según la tarea prevista

Explorar la infraestructura de IA

Saber qué hace Baseten puede ayudarte a distinguir el servicio que ejecuta el modelo del propio modelo y de la aplicación que lo utiliza. Si estás explorando herramientas de IA de forma más amplia, el siguiente enlace abre el proveedor, un servicio independiente; no es una consola de despliegue de Baseten.

Da el siguiente paso con las herramientas de IA

  • Identifica la tarea que debe realizar tu modelo
  • Comprueba las capacidades del servicio de destino antes de compartir datos
Explora el catálogo de modelos del proveedor

Preguntas frecuentes

Baseten proporciona infraestructura para desplegar y servir modelos de IA. En la práctica, ayuda a los equipos a poner un modelo a disposición de sus aplicaciones para solicitudes de inferencia.

Servir un modelo y desarrollar una aplicación son tareas distintas. Baseten se ocupa de la infraestructura utilizada para ejecutar un modelo, mientras que el equipo que desarrolla la aplicación decide cómo interactúan los usuarios con ella y cómo se gestionan los resultados del modelo.

No. El despliegue hace posible la inferencia, pero la salida del modelo aún debe evaluarse en relación con la tarea prevista. Los equipos deben evaluar la calidad, los casos de fallo y cualquier requisito para el tratamiento de datos.

Una aplicación envía una solicitud de inferencia con una entrada adecuada para el modelo desplegado. El modelo genera una salida que la aplicación puede procesar o mostrar a un usuario; la entrada y la salida concretas dependen del modelo.

Documentación
Documentación