baseten

Descripción general de la plataforma

En la práctica, ¿qué hace baseten por los equipos de IA?

Si te preguntas qué hace baseten, la respuesta breve es que Baseten proporciona infraestructura para desplegar modelos de IA y atender solicitudes con ellos. Ayuda a los equipos a convertir un modelo en un servicio de inferencia al que pueden acceder las aplicaciones, en lugar de exigirles que construyan por completo la capa de servicio.

Ilustración de la página de inicio de Baseten

Definición en una frase

Baseten es una plataforma de infraestructura de IA centrada en poner los modelos a trabajar en aplicaciones. Su función principal es servir modelos: recibir solicitudes, ejecutar un modelo y devolver resultados.

4 min de lectura

Cómo funciona

El servicio de modelos conecta un modelo existente con el software que necesita sus predicciones o el contenido que genera. La configuración exacta depende del modelo y de la aplicación.

  1. 1

    Preparar el modelo

    Un equipo elige el modelo que quiere ejecutar y determina sus requisitos de entrada y salida. Un modelo de texto, por ejemplo, requiere un formato de solicitud distinto al de un modelo de imágenes.

  2. 2

    Desplegar un endpoint de servicio

    El modelo se pone a disposición mediante una infraestructura de inferencia. Esa infraestructura se encarga de las tareas operativas de aceptar solicitudes y ejecutar el modelo desplegado.

  3. 3

    Conectar la aplicación

    El código de la aplicación envía datos de entrada al endpoint y utiliza la respuesta recibida. El equipo aún debe comprobar la calidad de las respuestas, gestionar los errores y supervisar si los resultados satisfacen sus necesidades.

Qué puede y qué no puede hacer

Baseten puede proporcionar una capa de servicio, pero servir un modelo no es lo mismo que elegirlo, evaluarlo o establecer normas para su uso. Estos son los requisitos prácticos de un proyecto de inferencia.

Obligatorio Opcional
  • Una tarea definida y un modelo adecuado para ella — La infraestructura no determina si un modelo ofrece respuestas útiles o fiables.

  • Entradas y salidas esperadas que la aplicación pueda manejar — La aplicación debe saber qué enviar y cómo utilizar o rechazar una respuesta.

  • Un plan para evaluar la calidad, los fallos y el tratamiento de los datos — El despliegue no sustituye la evaluación ni la revisión de la información sensible.

  • Funcionalidades personalizadas de la aplicación que utiliza el modeloopcional — Puede ser necesaria una interfaz de usuario o un flujo de trabajo empresarial, pero es independiente del servicio de inferencia.

Quién lo utiliza

Baseten es más relevante para los equipos que desarrollan software que llama a modelos de IA que para quienes buscan una aplicación de chat o edición de imágenes ya terminada.

Ilustración de la infraestructura de IA Trabajo de aplicación

Paso 1

Desarrolladores de aplicaciones

Un desarrollador puede necesitar un servicio backend que reciba una solicitud de la aplicación, consulte un modelo y devuelva un resultado al usuario. Baseten se encarga de la parte de ese proceso que consiste en servir el modelo. La interfaz, los mensajes de error y la decisión de cuándo consultar el modelo siguen siendo responsabilidad del equipo de la aplicación.

  • Conectar el código de la aplicación con la inferencia del modelo
  • Diseñar qué ocurre cuando falla una solicitud
Ilustración de un flujo de trabajo de despliegue de modelos Operaciones de modelos

Paso 2

Equipos de aprendizaje automático y de plataformas

Estos equipos pueden tener un modelo que quieren poner a disposición de otros servicios. Baseten les ofrece infraestructura que pueden considerar para el despliegue y la inferencia, mientras que ellos conservan la responsabilidad de seleccionar el modelo, comprobar su comportamiento y decidir si cumple los requisitos de su organización. Esta división de responsabilidades importa al pasar de un experimento prometedor a una aplicación fiable.

  • Poner un modelo a disposición de otros servicios
  • Evaluar los resultados en función de la tarea prevista

Explorar la infraestructura de IA

Saber qué hace Baseten puede ayudarte a distinguir el servicio del modelo del propio modelo y de la aplicación que lo utiliza. Si estás explorando herramientas de IA en general, el enlace siguiente abre Synexa, un servicio independiente; no es una consola de despliegue de Baseten.

Da el siguiente paso con las herramientas de IA

  • Identifica la tarea que debe realizar tu modelo
  • Comprueba las capacidades del servicio de destino antes de compartir datos
Explorar herramientas de IA

Preguntas frecuentes

Baseten proporciona infraestructura para desplegar y servir modelos de IA. En la práctica, ayuda a los equipos a poner un modelo a disposición de sus aplicaciones para que puedan enviarle solicitudes de inferencia.

Servir un modelo y desarrollar una aplicación son tareas distintas. Baseten se ocupa de la infraestructura utilizada para ejecutar un modelo, mientras que el equipo que desarrolla la aplicación decide cómo interactúan los usuarios con ella y cómo se gestionan los resultados del modelo.

No. El despliegue permite realizar inferencias, pero los resultados del modelo aún deben probarse en función de la tarea prevista. Los equipos deben evaluar la calidad, los posibles fallos y cualquier requisito relacionado con el tratamiento de los datos.

Una aplicación envía una solicitud de inferencia con una entrada adecuada para el modelo desplegado. El modelo genera una salida que la aplicación puede procesar o mostrar a un usuario; la entrada y la salida concretas dependen del modelo.

Prueba un prompt
Prueba un prompt